Gabriella：一种用于未裁剪安防视频中实时活动检测的在线系统
计算机视觉与模式识别
2020-05-20 v2 图像与视频处理
摘要
安防视频中的活动检测是一个困难问题，原因包括大视场、存在多种活动、尺度与视角变化以及视频未裁剪等。现有活动检测研究主要集中于 UCF-101、JHMDB、THUMOS 和 AVA 等数据集，这些数据集仅部分解决了上述问题。实时处理安防视频的需求使该问题更具挑战性。本文提出 Gabriella，一种用于未裁剪安防视频活动检测的实时在线系统。所提方法包含三个阶段：管状片段提取、活动分类与在线管状片段合并。在管状片段提取中，我们提出一种定位网络，以视频片段为输入，在空间和时间上以多尺度检测潜在前景区域以生成动作管状片段。我们提出一种新颖的 Patch-Dice 损失来处理演员尺寸的剧烈变化。我们以片段级在线处理视频，大幅降低了活动检测的计算时间。检测到的管状片段由分类网络赋予活动类别分数，并使用我们提出的管状片段合并动作分割（TMAS）算法合并以形成最终动作检测结果。TMAS 算法以在线方式高效连接管状片段，生成对变长活动鲁棒的动作检测。我们在 VIRAT 与 MEVA（Multiview Extended Video with Activities）数据集上实验，并从速度（约 100 fps）与性能（达到 SOTA 结果）方面证明了所提方法的有效性。代码与模型将公开提供。
引用
@article{arxiv.2004.11475,
title = {Gabriella: An Online System for Real-Time Activity Detection in Untrimmed Security Videos},
author = {Mamshad Nayeem Rizve and Ugur Demir and Praveen Tirupattur and Aayush Jung Rana and Kevin Duarte and Ishan Dave and Yogesh Singh Rawat and Mubarak Shah},
journal= {arXiv preprint arXiv:2004.11475},
year = {2020}
}
备注
9 pages