基于相关性的边距用于对比训练视频检索模型

使用自然语言查询进行视频检索因其在现实应用中的相关性而吸引了越来越多的兴趣，从私人媒体库的智能访问到网络规模的视频搜索。在联合嵌入空间中学习视频与文本的跨模态相似性是主流方法。为此，通常采用对比损失函数，因为它通过将相似项拉近、不相似项推远来组织嵌入空间。该框架带来了有竞争力的召回率，因为它仅关注真值项的排名。然而，在考虑智能检索系统时，评估排序列表的质量至关重要，因为多个项可能共享相似的语义，从而具有高相关性。此外，上述框架使用固定边距来分离相似和不相似项，将所有非真值项视为同等不相关。在本文中，我们提出使用可变边距：我们认为，根据某个项与给定查询的相关程度来改变训练期间使用的边距，即基于相关性的边距，可以轻松提高通过nDCG和mAP衡量的排序列表质量。我们在EPIC-Kitchens-100和YouCook2上使用不同模型展示了我们技术的优势。我们表明，即使我们仔细调整了固定边距，我们的技术（其中边距不是超参数）仍能取得更好的性能。最后，广泛的消融研究和定性分析支持了我们方法的鲁棒性。代码将在\url{https://github.com/aranciokov/RelevanceMargin-ICMR22}发布。