基于自监督与多任务学习的视频异常检测
计算机视觉与模式识别
2021-09-14 v3 机器学习
图像与视频处理
摘要
视频异常检测是一个具有挑战性的计算机视觉问题。由于训练时缺乏异常事件，异常检测需要设计无完全监督的学习方法。本文中，我们通过对象层面的自监督与多任务学习来处理视频中的异常事件检测。我们首先利用预训练检测器检测对象。然后，我们训练一个 3D 卷积神经网络，通过联合学习多个代理任务来产生具有判别性的异常特定信息：三个自监督任务和一个基于知识蒸馏的任务。自监督任务为：(i) 区分向前/向后运动对象（时间箭头），(ii) 区分连续/间隔帧中的对象（运动不规则性），以及 (iii) 重建对象特定外观信息。知识蒸馏任务同时考虑分类与检测信息，在异常发生时产生教师与学生模型间的较大预测差异。据我们所知，我们首次将视频异常事件检测作为多任务学习问题，在单一架构中整合多个自监督与知识蒸馏代理任务。我们的轻量架构在 Avenue、ShanghaiTech 和 UCSD Ped2 三个基准上优于 SOTA 方法。此外，我们进行了消融实验，证明了在多任务学习设定中整合自监督学习与正常性特定蒸馏的重要性。
引用
@article{arxiv.2011.07491,
title = {Anomaly Detection in Video via Self-Supervised and Multi-Task Learning},
author = {Mariana-Iuliana Georgescu and Antonio Barbalau and Radu Tudor Ionescu and Fahad Shahbaz Khan and Marius Popescu and Mubarak Shah},
journal= {arXiv preprint arXiv:2011.07491},
year = {2021}
}
备注
Accepted at CVPR 2021. Main paper and supplementary are both included