大规模基于内容的视频检索中的片段相似度与对齐学习
计算机视觉与模式识别
2025-05-20 v1 人工智能
多媒体
摘要
近年来随着网络视频的爆炸式增长，大规模基于内容的视频检索（CBVR）在视频过滤、推荐和版权保护中变得愈发重要。片段级CBVR（S-CBVR）以更细粒度定位相似片段的起止时间，尤其利于长视频场景下的用户浏览效率与侵权检测。S-CBVR任务的挑战在于如何以高效计算和低存储消耗实现高时间对齐精度。本文提出片段相似度与对齐网络（SSAN）应对该挑战，其首次在S-CBVR中以端到端方式训练。SSAN基于视频检索中两个新提出的模块：（1）高效的自监督关键帧提取（SKE）模块以减少冗余帧特征；（2）鲁棒的相似度模式检测（SPD）模块用于时间对齐。与均匀帧提取相比，SKE不仅节省特征存储与搜索时间，且引入可比较的精度与有限的额外计算时间。在时间对齐方面，SPD比现有深度学习方法以更高精度与效率定位相似片段。此外，我们将SSAN与SKE和SPD联合训练并取得端到端提升。同时，SKE与SPD两个关键模块也可有效插入其他视频检索流程并获得可观性能提升。公开数据集上的实验结果表明，与现有方法相比，SSAN在节省存储与在线查询计算成本的同时可获得更高的对齐精度。
引用
@article{arxiv.2309.11091,
title = {Learning Segment Similarity and Alignment in Large-Scale Content Based Video Retrieval},
author = {Chen Jiang and Kaiming Huang and Sifeng He and Xudong Yang and Wei Zhang and Xiaobo Zhang and Yuan Cheng and Lei Yang and Qing Wang and Furong Xu and Tan Pan and Wei Chu},
journal= {arXiv preprint arXiv:2309.11091},
year = {2025}
}
备注
Accepted by ACM MM 2021