魔鬼在虚假相关中：动态学习提升时刻检索
计算机视觉与模式识别
2025-03-21 v2
摘要
给定文本查询和对应视频，时刻检索的目标是在视频中定位与查询相关的时刻。尽管现有的基于Transformer的方法已经展示了值得称赞的结果，但预测目标时刻的准确时间跨度仍然是一个主要挑战。本文揭示了一个关键原因源于文本查询与时刻上下文之间的虚假相关。即，模型通过过度将查询与背景帧关联而不是区分目标时刻来进行预测。为了解决这个问题，我们提出了一种用于时刻检索的动态学习方法，其中设计了两种策略来减轻虚假相关。首先，我们引入了一种新颖的视频合成方法来构建查询时刻的动态上下文，使模型能够在动态背景中关注对应查询的目标时刻。其次，为了减轻与背景的过度关联，我们通过引入文本-动态交互来增强时间表示，这鼓励模型通过互补的动态表示将文本与目标时刻对齐。通过所提出的方法，我们的模型显著缓解了时刻检索中的虚假相关问题，并在两个流行基准（即QVHighlights和Charades-STA）上建立了新的最先进性能。此外，详细的消融研究和跨不同架构的评估证明了所提出策略的泛化性和有效性。我们的代码将公开。
引用
@article{arxiv.2501.07305,
title = {The Devil is in the Spurious Correlations: Boosting Moment Retrieval with Dynamic Learning},
author = {Xinyang Zhou and Fanyue Wei and Lixin Duan and Angela Yao and Wen Li},
journal= {arXiv preprint arXiv:2501.07305},
year = {2025}
}