Sim-DETR：解锁时序句子 grounding 的 DETR

Jiajin Tang; Zhengxuan Wei; Yuchen Zhu; Cheng Shi; Guanbin Li; Liang Lin; Sibei Yang

Sim-DETR：解锁时序句子 grounding 的 DETR

计算机视觉与模式识别 2025-11-25 v2

作者: Jiajin Tang , Zhengxuan Wei , Yuchen Zhu , Cheng Shi , Guanbin Li , Liang Lin , Sibei Yang

摘要

时序句子 grounding 旨在识别给定文本查询在视频中对应的确切时刻，通常采用检测转换器（DETR）解决方案。然而，我们发现旨在提升DETR表现的典型策略在此任务中并不有效，甚至可能降低性能。我们系统性地分析并确认导致异常行为的根本原因：（1）来自相似目标时刻的查询之间的冲突；（2）由于全局语义与局部定位之间的张力导致的查询内部冲突。基于这些洞察，我们提出一种简单而强大的基线方案Sim-DETR，通过在解码器层中引入两个小修改实现：（1）基于查询的语义和位置重叠度约束查询之间的自注意力；（2）添加查询到帧的对齐，以桥接全局与局部上下文。实验表明，Sim-DETR 充分释放了 DETR 在时序句子 grounding 任务中的潜力，为后续研究提供了强大的基线。

关键词

时序句子 grounding DETR 自注意力查询冲突解码器修改

引用

@article{arxiv.2509.23867,
  title  = {Sim-DETR: Unlock DETR for Temporal Sentence Grounding},
  author = {Jiajin Tang and Zhengxuan Wei and Yuchen Zhu and Cheng Shi and Guanbin Li and Liang Lin and Sibei Yang},
  journal= {arXiv preprint arXiv:2509.23867},
  year   = {2025}
}

备注

This work is accepted by ICCV 2025

Sim-DETR：解锁时序句子 grounding 的 DETR

摘要

关键词

引用

备注

相关论文