基于鲁棒时序特征幅值学习的弱监督视频异常检测
计算机视觉与模式识别
2021-08-09 v3
摘要
利用弱监督视频级标签进行异常检测通常被表述为多示例学习（MIL）问题，旨在识别包含异常事件的片段，每支视频表示为一个视频片段包。尽管现有方法展现出有效的检测性能，其对正例（即异常视频中稀有的异常片段）的识别很大程度上被占主导的负例所偏置，尤其当异常事件为与正常事件仅存在微小差异的细微异常时。许多忽略重要视频时序依赖的方法加剧了该问题。为此，我们提出一种新颖且理论严谨的方法，称为鲁棒时序特征幅值学习（RTFM），其训练一个特征幅值学习函数以有效识别正例，大幅提升了 MIL 方法对来自异常视频的负例的鲁棒性。RTFM 还采用膨胀卷积与自注意力机制来捕获长程与短程时序依赖，从而更忠实地学习特征幅值。大量实验表明，启用 RTFM 的 MIL 模型（i）在四个基准数据集（ShanghaiTech、UCF-Crime、XD-Violence 和 UCSD-Peds）上大幅优于多种最先进方法，且（ii）实现了显著改进的细微异常判别力与样本效率。代码见 https://github.com/tianyu0207/RTFM。
引用
@article{arxiv.2101.10030,
title = {Weakly-supervised Video Anomaly Detection with Robust Temporal Feature Magnitude Learning},
author = {Yu Tian and Guansong Pang and Yuanhong Chen and Rajvinder Singh and Johan W. Verjans and Gustavo Carneiro},
journal= {arXiv preprint arXiv:2101.10030},
year = {2021}
}
备注
Accepted to ICCV 2021