基于表观-运动语义表示一致性的视频异常检测框架
计算机视觉与模式识别
2022-04-11 v1
摘要
视频异常检测指对偏离预期行为的事件进行识别。由于训练中异常样本缺乏，视频异常检测成为一项极具挑战的任务。现有方法几乎遵循重建或未来帧预测模式。然而，这些方法忽略了样本表观与运动信息之间的一致性，限制了其异常检测性能。异常仅发生在监控视频的运动前景中，因此在异常检测中，无背景信息的视频帧序列与光流所表达的语义应高度一致且对异常检测意义重大。基于该思想，我们提出表观-运动语义表示一致性（AMSRC），一种利用正常数据表观与运动语义表示一致性来处理异常检测的框架。首先，我们设计双流编码器编码正常样本的表观与运动信息表示，并引入约束进一步增强正常样本表观与运动信息间特征语义的一致性，从而可识别表观与运动特征表示一致性低的异常样本。此外，异常样本表观与运动特征的较低一致性可用于生成具有更大重建误差的预测帧，使异常更易被发现。实验结果证明了所提方法的有效性。
引用
@article{arxiv.2204.04151,
title = {A Video Anomaly Detection Framework based on Appearance-Motion Semantics Representation Consistency},
author = {Xiangyu Huang and Caidan Zhao and Yilin Wang and Zhiqiang Wu},
journal= {arXiv preprint arXiv:2204.04151},
year = {2022}
}