用于视频异常检测的多尺度时空交互网络
计算机视觉与模式识别
2023-07-07 v2
摘要
视频异常检测(Video Anomaly Detection, VAD)是信号处理中一项基础而具挑战性的任务。由于某些异常无法通过孤立分析时间或空间信息来检测，这两类数据间的交互被认为对VAD至关重要。然而，当前的双流架构要么将此整体交互局限于自编码器的瓶颈处，要么将无关异常的背景像素引入交互过程，阻碍了VAD的准确性。为弥补这些缺陷，我们提出一种用于VAD的多尺度时空交互网络(Multi-scale Spatial-Temporal Interaction Network, MSTI-Net)。首先，为优先检测场景中运动物体并调和两类数据间显著的语义差异，我们提出基于注意力的时空融合模块(Attention-based Spatial-Temporal Fusion Module, ASTFM)以替代传统的直接融合。此外，我们注入基于多ASTFM的连接来桥接双流网络的外观流与运动流，从而促进多尺度时空交互。最后，为强化正常与异常活动的区分，我们的系统在记忆模块中记录规律信息。在三个基准数据集上的实验结果验证了方法的有效性，其在UCSD Ped2、CUHK Avenue和ShanghaiTech数据集上分别取得了96.8%、87.6%和73.9%的AUC。
引用
@article{arxiv.2306.10239,
title = {Multi-scale Spatial-temporal Interaction Network for Video Anomaly Detection},
author = {Zhiyuan Ning and Zhangxun Li and Zhengliang Guo and Zile Wang and Liang Song},
journal= {arXiv preprint arXiv:2306.10239},
year = {2023}
}