面向场景感知视频异常检测的分层语义对比
计算机视觉与模式识别
2023-03-24 v1
摘要
增强场景感知能力是视频异常检测（VAD）中的一个关键挑战。在本工作中，我们提出一种分层语义对比（HSC）方法，从正常视频中学习一个场景感知的 VAD 模型。我们首先利用预训练的视频解析模型，将前景物体与背景场景特征同高层语义相结合。接着，在基于自编码器的重建框架之上，我们引入场景级与物体级对比学习，以迫使编码后的潜在特征在同一语义类内紧凑、在不同语义类间可分离。这种分层语义对比策略有助于应对正常模式的多样性，并提升其判别能力。此外，为处理罕见正常活动，我们设计了一种基于骨架的运动增强，以增加样本并进一步精炼模型。在三个公开数据集及场景依赖的混合数据集上的大量实验验证了我们提出方法的有效性。
引用
@article{arxiv.2303.13051,
title = {Hierarchical Semantic Contrast for Scene-aware Video Anomaly Detection},
author = {Shengyang Sun and Xiaojin Gong},
journal= {arXiv preprint arXiv:2303.13051},
year = {2023}
}
备注
Accepted by CVPR 2023