用于视频异常检测的层次化时空图卷积神经网络
计算机视觉与模式识别
2022-11-08 v2
摘要
深度学习模型已被广泛用于监控视频中的异常检测。典型模型具备重建正常视频的能力，并通过评估异常视频上的重建误差来指示异常程度。然而，现有方法存在两个缺点。首先，它们只能独立编码每个个体的运动，而忽略了个体间的交互，这些交互也可能指示异常。其次，它们利用结构在不同场景下固定不变的僵化模型，这种配置无法理解场景。在本文中，我们提出一种层次化时空图卷积神经网络（Hierarchical Spatio-Temporal Graph Convolutional Neural Network, HSTGCNN）来解决这些问题，HSTGCNN 由多个分支组成，这些分支对应不同层次的图表示。高层图表示编码人的轨迹以及多个个体间的交互，而低层图表示编码每个人的局部身体姿态。此外，我们提出对不同场景下表现更优的多个分支进行加权组合。通过这种方式，实现了对单层图表示的改进。对场景的理解得以实现，并服务于异常检测。在低分辨率视频中，高层图表示被赋予更高权重以编码人的移动速度和方向；而在高分辨率视频中，低层图表示被赋予更高权重以编码人体骨架。实验结果表明，所提出的 HSTGCNN 在使用少得多的可学习参数的情况下，在四个基准数据集（UCSD Pedestrian、ShanghaiTech、CUHK Avenue 和 IITB-Corridor）上显著优于当前最先进的模型。
引用
@article{arxiv.2112.04294,
title = {A Hierarchical Spatio-Temporal Graph Convolutional Neural Network for Anomaly Detection in Videos},
author = {Xianlin Zeng and Yalong Jiang and Wenrui Ding and Hongguang Li and Yafeng Hao and Zifeng Qiu},
journal= {arXiv preprint arXiv:2112.04294},
year = {2022}
}
备注
Accepted to IEEE Transactions on Circuits and Systems for Video Technology (T-CSVT)