面向部分视频拷贝检测的视频相似度与对齐学习
计算机视觉与模式识别
2021-08-05 v1
摘要
现有的视频拷贝检测方法通常基于关键帧之间的空间相似度来衡量视频相似度，忽略了时间维度上的潜在相似性，导致视频相似度偏向空间信息。有些方法以端到端的方式对统一的视频相似度进行建模，但丢失了详细的部分对齐信息，这导致无法定位拷贝片段。为解决上述问题，我们提出了视频相似度与对齐学习（VSAL）方法，该方法联合建模空间相似度、时间相似度和部分对齐。为减轻空间相似度偏差，我们将时间相似度建模为从帧级空间相似度预测的掩码图，其中每个元素表示帧对恰好位于部分对齐上的概率。为进一步定位部分拷贝，我们从空间相似度中学习步长图，其中元素指示当前部分对齐在时空相似度图上的延伸方向。从掩码图中获得的起始点，遵循步长图的指示延伸成部分最优对齐。通过相似度与对齐学习策略，VSAL在VCDB核心数据集上取得了最先进的F1分数。此外，我们通过为FIVR-200k数据集添加新的片段级标注，构建了一个新的部分视频拷贝检测与定位基准，VSAL在该基准上也取得了最佳性能，验证了其在更具挑战性场景下的有效性。我们的项目公开于 https://pvcd-vsal.github.io/vsal/。
引用
@article{arxiv.2108.01817,
title = {Video Similarity and Alignment Learning on Partial Video Copy Detection},
author = {Zhen Han and Xiangteng He and Mingqian Tang and Yiliang Lv},
journal= {arXiv preprint arXiv:2108.01817},
year = {2021}
}
备注
This paper has been accepted to ACM-MM 2021