基于语义感知信息瓶颈的视频异常检测
计算机视觉与模式识别
2026-03-20 v4
摘要
半监督视频异常检测方法面临两个关键挑战：(1) 强泛化能力模糊了正常与异常模式之间的边界。尽管现有方法尝试使用记忆模块来缓解此问题，但其刚性的原型匹配过程限制了对多样场景的适应性；(2) 仅依赖低层外观和运动线索使得难以感知复杂场景中的高层语义异常。为了解决这些局限性，我们提出了 SIB-VAD，一种基于自适应信息瓶颈过滤和语义感知增强的新框架。我们提出稀疏特征过滤模块（SFFM）来替代传统的记忆模块。它基于信息瓶颈原理将正常特征直接压缩到低维流形中，并使用自适应路由机制动态选择最合适的正常瓶颈子空间。SFFM 仅在正常数据上训练，只学习正常的低维流形，而异常特征发生偏离并被有效过滤。与记忆模块不同，SFFM 直接移除异常信息并自适应地处理场景变化。为了提高语义感知能力，我们进一步设计了一个多模态预测框架，联合建模外观、运动和语义。通过多模态一致性约束和联合误差计算，它实现了更鲁棒的 VAD 性能。实验结果验证了我们基于语义感知信息瓶颈的特征过滤范式的有效性。项目页面位于 https://qzfm.github.io/sib_vad_project_page/
引用
@article{arxiv.2506.02535,
title = {Video Anomaly Detection with Semantics-Aware Information Bottleneck},
author = {Juntong Li and Lingwei Dang and Qingxin Xiao and Shishuo Shang and Jiajia Cheng and Haomin Wu and Yun Hao and Qingyao Wu},
journal= {arXiv preprint arXiv:2506.02535},
year = {2026}
}
备注
Accepted by ICME 2026