并非所有配对都相同：面向平均精度的视频检索层次学习
计算机视觉与模式识别
2024-07-23 v1
摘要
在线视频资源的快速增长显著推动了视频检索方法的发展。作为视频检索的标准评估指标，平均精度 (AP) 评估了相关视频在顶部列表中的整体排序，使预测得分成为可靠的用户参考。然而，最近的视频检索方法采用配对损失， treats all sample pairs equally，导致训练目标与评估指标之间存在明显差距。为有效弥合这一差距，本文旨在解决两个主要挑战：a) 当前的相似性度量和基于AP的损失对视频检索不够优化；b) 帧间匹配产生的噪声会引入估计AP损失的歧义。在针对上述挑战，我们提出了面向平均精度的视频检索的层次学习框架 (HAP-VR)。针对第一个挑战，我们开发了TopK-Chamfer相似性和QuadLinear-AP损失，用于以AP为导向衡量和优化视频级别的相似性。针对第二个挑战，我们建议约束帧级别的相似性，以实现准确的AP损失估计。实验结果表明，HAP-VR 在多个基准数据集上优于现有方法，为视频检索任务提供了可行方案，从而为多媒体应用提供了潜在收益。
引用
@article{arxiv.2407.15566,
title = {Not All Pairs are Equal: Hierarchical Learning for Average-Precision-Oriented Video Retrieval},
author = {Yang Liu and Qianqian Xu and Peisong Wen and Siran Dai and Qingming Huang},
journal= {arXiv preprint arXiv:2407.15566},
year = {2024}
}