基于时空上下文融合的视频异常检测
计算机视觉与模式识别
2022-11-23 v1 图像与视频处理
摘要
视频异常检测旨在发现视频中的异常事件，其主要对象为人、车等目标物体。视频数据中每个目标都富含时空上下文信息。现有多数方法仅关注时间上下文，忽略了空间上下文在异常检测中的作用。空间上下文信息表征检测目标与周围目标之间的关系，对异常检测具有重要意义。为此，提出一种基于目标时空上下文融合的视频异常检测算法。首先通过目标检测网络提取视频帧中的目标，以降低背景干扰；随后计算相邻两帧的光流图，利用视频帧中多个目标的运动特征同时构建空间上下文，对目标外观与运动特征进行重新编码，最后通过时空双流网络对上述特征进行重构，并以重构误差表示异常分数。该算法在 UCSDped2 与 Avenue 数据集上分别取得 98.5% 与 86.3% 的帧级 AUC。在 UCSDped2 数据集上，时空双流网络相较时间流与空间流网络分别提升 5.1% 与 0.3%；使用空间上下文编码后，帧级 AUC 提升 1%，验证了方法的有效性。
引用
@article{arxiv.2210.09572,
title = {Spatio-Temporal-based Context Fusion for Video Anomaly Detection},
author = {Chao Hu and Weibin Qiu and Weijie Wu and Liqiang Zhu},
journal= {arXiv preprint arXiv:2210.09572},
year = {2022}
}