论视频检索中的语义相似性
计算机视觉与模式识别
2021-03-19 v1
摘要
当前的视频检索研究均基于实例假设进行评估，即仅有一个描述与查询视频相关，反之亦然。我们证明该假设导致性能比较往往不能指示模型的检索能力。我们提出转向语义相似性视频检索，其中（i）多个视频/描述可被视为同等相关，其相对排序不影响方法所报告的性能；（ii）检索到的视频/描述按其与查询的相似性排序。我们提出了几种在不额外标注的情况下估计大规模检索数据集中语义相似性的代理方法。我们的分析在三个常用视频检索数据集（MSR-VTT、YouCook2和EPIC-KITCHENS）上进行。
引用
@article{arxiv.2103.10095,
title = {On Semantic Similarity in Video Retrieval},
author = {Michael Wray and Hazel Doughty and Dima Damen},
journal= {arXiv preprint arXiv:2103.10095},
year = {2021}
}
备注
Accepted in CVPR 2021. Project Page: https://mwray.github.io/SSVR/