长度决定一切：基于长度感知的时序句子 grounding 变换器
计算机视觉与模式识别
2025-08-07 v1
摘要
时序句子 grounding (Temporal Sentence Grounding, TSG) 是一个极具挑战性的任务，旨在在未裁剪的视频中定位与给定自然语言描述相对应的时间段。得益于可学习查询的设计，基于 DETR 的模型在 TSG 任务中取得了显著的进展。然而，缺乏显式监督常导致所学查询在角色上发生重叠，产生冗余预测。因此，我们提出通过赋予每个查询明确的角色分配，并利用视频-描述对的长度先验来改进 TSG。在本文中，我们引入时序句子 grounding 长度感知变换器 (Length-Aware Transformer, LATR)，该变换器根据不同的时间长度分配不同的查询处理预测。具体而言，我们将所有查询分为三组，分别负责处理时段长度为短、中、长的序列。训练时，引入额外的长度分类任务。来自长度不匹配查询的预测将被抑制，从而引导每个查询专注于其指定的功能。广泛的实验表明，我们的 LATR 在三个公开基准数据集上实现了状态最佳性能。此外，消融研究验证了我们方法每个组件的贡献，并凸显了将长度先验纳入 TSG 任务中的关键作用。
关键词
引用
@article{arxiv.2508.04299,
title = {Length Matters: Length-Aware Transformer for Temporal Sentence Grounding},
author = {Yifan Wang and Ziyi Liu and Xiaolong Sun and Jiawei Wang and Hongmin Liu},
journal= {arXiv preprint arXiv:2508.04299},
year = {2025}
}