多镜头时间事件定位：一个基准
计算机视觉与模式识别
2021-04-16 v2
摘要
当前时间事件或动作定位的发展通常针对单一摄像机捕捉的动作。然而，现实中的广泛事件或动作可能由多台处于不同位置的摄像机以一系列镜头捕捉。本文提出一项新颖且具挑战性的任务，称为多镜头时间事件定位，并相应收集了一个大规模数据集，称为 MUlti-Shot EventS（MUSES）。MUSES 含有 31,477 个事件实例，总计 716 视频小时。MUSES 的核心特性是频繁的镜头切换，平均每个实例 19 个镜头、每段视频 176 个镜头，这引发了巨大的实例内变异。我们的综合评估显示，时间动作定位中的最优方法在 IoU=0.5 时仅达到 13.1% 的 mAP。作为一项微小贡献，我们给出了一种处理实例内变异的简单基线方法，其在 MUSES 上报告 mAP 为 18.9%，在 THUMOS14 上于 IoU=0.5 时为 56.9%。为促进该方向研究，我们在 https://songbai.site/muses/ 发布了数据集与项目代码。
引用
@article{arxiv.2012.09434,
title = {Multi-shot Temporal Event Localization: a Benchmark},
author = {Xiaolong Liu and Yao Hu and Song Bai and Fei Ding and Xiang Bai and Philip H. S. Torr},
journal= {arXiv preprint arXiv:2012.09434},
year = {2021}
}
备注
CVPR 2021. Project page at https://songbai.site/muses/