自蒸馏掩码自编码器是高效的视频异常检测器
计算机视觉与模式识别
2024-03-12 v2 机器学习
摘要
我们提出了一种基于应用于视频帧级别的轻量级掩码自编码器(AE)的高效异常事件检测模型。所提模型的新颖性有三方面。首先,我们引入了一种基于运动梯度对 token 进行加权的方法,从而将焦点从静态背景场景转移到前景物体。其次,我们将教师解码器和学生解码器集成到我们的架构中,利用两个解码器输出之间的差异来改进异常检测。第三,我们生成合成异常事件以增强训练视频,并令掩码 AE 模型联合重建原始帧(无异常)和相应的像素级异常图。我们的设计带来了高效且有效的模型,正如在四个基准(Avenue、ShanghaiTech、UBnormal 和 UCSD Ped2)上进行的广泛实验所证明的。实证结果表明,我们的模型在速度和精度之间实现了优异的权衡,获得了具有竞争力的 AUC 分数,同时处理 1655 FPS。因此,我们的模型比竞争方法快 8 到 70 倍。我们还进行了消融研究以证明我们的设计。我们的代码可在 https://github.com/ristea/aed-mae 免费获取。
引用
@article{arxiv.2306.12041,
title = {Self-Distilled Masked Auto-Encoders are Efficient Video Anomaly Detectors},
author = {Nicolae-Catalin Ristea and Florinel-Alin Croitoru and Radu Tudor Ionescu and Marius Popescu and Fahad Shahbaz Khan and Mubarak Shah},
journal= {arXiv preprint arXiv:2306.12041},
year = {2024}
}
备注
Accepted at CVPR 2024