负样本至关重要：时间定位中度量学习的复兴
计算机视觉与模式识别
2021-12-16 v2 多媒体
摘要
时间定位旨在定位在语义上与给定自然语言查询对齐的视频片段。现有方法通常在融合表示上应用检测或回归流程，研究重点在于设计复杂的预测头或融合策略。相反，从将时间定位视为度量学习问题的角度出发，我们提出了一种互匹配网络（MMN），以在联合嵌入空间中直接建模语言查询与视频片段之间的相似度。这种新的度量学习框架能够从两个新方面充分利用负样本：在互匹配方案中构建负跨模态对，以及跨不同视频挖掘负对。这些新的负样本可以通过跨模态互匹配来增强两种模态的联合表示学习，从而最大化它们的互信息。实验表明，我们的 MMN 在四个视频定位基准上与 SOTA 方法相比取得了极具竞争力的性能。基于 MMN，我们为第 3 届 PIC workshop 的 HC-STVG 挑战赛提供了获胜方案。这表明，通过在联合嵌入空间中捕获本质的跨模态相关性，度量学习仍然是时间定位的一种有前景的方法。代码可在 https://github.com/MCG-NJU/MMN 获取。
引用
@article{arxiv.2109.04872,
title = {Negative Sample Matters: A Renaissance of Metric Learning for Temporal Grounding},
author = {Zhenzhi Wang and Limin Wang and Tao Wu and Tianhao Li and Gangshan Wu},
journal= {arXiv preprint arXiv:2109.04872},
year = {2021}
}
备注
AAAI 2022 Camera Ready Version