监控视频中的真实世界异常检测
计算机视觉与模式识别
2019-02-15 v3
摘要
监控视频能够捕捉多种真实异常。在本文中，我们提出通过利用正常和异常视频来学习异常。为避免对训练视频中的异常片段或剪辑进行标注（这非常耗时），我们提出通过深度多示例排序框架，利用弱标注训练视频（即训练标签（异常或正常）在视频级别而非剪辑级别）来学习异常。在我们的方法中，我们将正常和异常视频视为多示例学习（MIL）中的包，将视频段视为示例，并自动学习一个深度异常排序模型，该模型对异常视频段预测高异常分数。此外，我们在排序损失函数中引入稀疏性和时间平滑性约束，以在训练期间更好地定位异常。我们还引入了一个大规模的、首创的 128 小时视频数据集。它由 1900 个长而未剪辑的真实世界监控视频组成，包含 13 种真实异常（如打架、交通事故、入室盗窃、抢劫等）以及正常活动。该数据集可用于两项任务。第一，将所有异常归为一组、所有正常活动归为另一组的通用异常检测。第二，用于识别 13 种异常活动各自的类型。我们的实验结果表明，与最先进的方法相比，我们的 MIL 异常检测方法在异常检测性能上取得了显著提升。我们给出了若干近期深度学习基线在异常活动识别上的结果。这些基线的低识别性能表明我们的数据集极具挑战性，并为未来工作提供了更多机会。数据集可在以下网址获取：https://webpages.uncc.edu/cchen62/dataset.html
引用
@article{arxiv.1801.04264,
title = {Real-world Anomaly Detection in Surveillance Videos},
author = {Waqas Sultani and Chen Chen and Mubarak Shah},
journal= {arXiv preprint arXiv:1801.04264},
year = {2019}
}