监控视频中的弱监督时空异常检测
计算机视觉与模式识别
2021-08-10 v1
摘要
本文引入一项新任务，称为监控视频中的弱监督时空异常检测（WSSTAD）。具体而言，给定一个未裁剪视频，WSSTAD 旨在定位包围异常事件的时空管（即连续时刻上的一系列边界框），且仅在训练时使用粗粒度的视频级标注作为监督。为应对这一挑战性任务，我们提出一种双分支网络，以时空域中多粒度的候选片段作为输入。每个分支采用关系推理模块来捕获管/视频片段之间的相关性，从而为异常行为概念学习提供丰富的上下文信息与复杂实体关系。我们建立了相互引导渐进细化框架，以循环方式利用双路径相互引导，在分支间迭代共享辅助监督信息。它促使各分支学到的概念作为对应分支的引导，逐步细化相应分支及整体框架。此外，我们贡献了两个数据集，即 ST-UCF-Crime 和 STRA，包含具有时空异常标注的视频，作为 WSSTAD 的基准。我们进行了大量定性与定量评估，以证明所提方法的有效性，并分析了更有助于处理该任务的关键因素。
引用
@article{arxiv.2108.03825,
title = {Weakly-Supervised Spatio-Temporal Anomaly Detection in Surveillance Video},
author = {Jie Wu and Wei Zhang and Guanbin Li and Wenhao Wu and Xiao Tan and Yingying Li and Errui Ding and Liang Lin},
journal= {arXiv preprint arXiv:2108.03825},
year = {2021}
}
备注
accepted by IJCAI2021