SSMTL++：重新审视用于视频异常检测的自监督多任务学习
计算机视觉与模式识别
2023-02-14 v4 机器学习
摘要
近年来文献中提出了一种用于视频异常检测的自监督多任务学习（SSMTL）框架。由于其极高的准确性，该方法引起了众多研究者的关注。在本工作中，我们重新审视该自监督多任务学习框架，对原方法提出若干改进。首先，我们研究了多种检测方法，例如基于光流或背景减除的高运动区域检测，因为我们相信当前使用的预训练 YOLOv3 是次优的，例如运动物体或未知类别的物体从未被检测到。其次，受视觉Transformer近期成功的启发，我们通过引入多头自注意力模块使3D卷积骨干现代化。为此，我们交替引入了2D和3D卷积视觉Transformer（CvT）模块。第三，在进一步改进模型的尝试中，我们研究了额外的自监督学习任务，例如通过知识蒸馏预测分割图、拼图求解、通过知识蒸馏估计身体姿态、预测掩码区域（修复）以及使用伪异常进行对抗学习。我们开展实验以评估所引入变更的性能影响。在发现更有前景的框架配置（称为 SSMTL++v1 和 SSMTL++v2）后，我们将初步实验扩展到更多数据集，证明我们的性能提升在所有数据集上是一致的。在大多数情况下，我们在 Avenue、ShanghaiTech 和 UBnormal 上的结果将最先进（SOTA）性能提升到了新的水平。
引用
@article{arxiv.2207.08003,
title = {SSMTL++: Revisiting Self-Supervised Multi-Task Learning for Video Anomaly Detection},
author = {Antonio Barbalau and Radu Tudor Ionescu and Mariana-Iuliana Georgescu and Jacob Dueholm and Bharathkumar Ramachandra and Kamal Nasrollahi and Fahad Shahbaz Khan and Thomas B. Moeslund and Mubarak Shah},
journal= {arXiv preprint arXiv:2207.08003},
year = {2023}
}
备注
Accepted in Computer Vision and Image Understanding