面向片段级视频拷贝检测的大规模综合数据集及重叠感知评估协议
计算机视觉与模式识别
2022-06-17 v2
摘要
本文介绍 VCSL（Video Copy Segment Localization），一个新的综合片段级标注视频拷贝数据集。与现有受限于视频级标注或小规模的拷贝检测数据集相比，VCSL 不仅拥有数量级多两个数量级的片段级标注数据，包含 160k 个真实视频拷贝对及超过 280k 个已定位的拷贝片段对，还覆盖了多种视频类别和广泛的视频时长。每个收集到的视频对内的所有拷贝片段均经人工提取，并附有精确标注的起止时间戳。除数据集外，我们还提出了一种新颖的评估协议，能更好地衡量视频对之间拷贝重叠段的预测精度，并在不同场景下表现出改进的适应性。通过使用所提数据集和评估指标对若干基线和 SOTA 片段级视频拷贝检测方法进行基准测试，我们提供了全面分析，揭示了当前方法的优势与不足，期望为未来工作开辟有前景的方向。VCSL 数据集、指标及基准代码均公开于 https://github.com/alipay/VCSL。
引用
@article{arxiv.2203.02654,
title = {A Large-scale Comprehensive Dataset and Copy-overlap Aware Evaluation Protocol for Segment-level Video Copy Detection},
author = {Sifeng He and Xudong Yang and Chen Jiang and Gang Liang and Wei Zhang and Tan Pan and Qing Wang and Furong Xu and Chunguang Li and Jingxiong Liu and Hui Xu and Kaiming Huang and Yuan Cheng and Feng Qian and Xiaobo Zhang and Lei Yang},
journal= {arXiv preprint arXiv:2203.02654},
year = {2022}
}
备注
Accepted by CVPR 2022. Codes are all publicly available at https://github.com/alipay/VCSL