用于弱监督视频异常检测的不确定性调节双记忆单元
计算机视觉与模式识别
2023-02-13 v1
摘要
学习判别性特征以有效区分异常事件与正常状态，对弱监督视频异常检测（WS-VAD）任务至关重要。现有方法，无论面向视频级还是片段级标签，主要关注提取异常数据的表示，而忽视了正常数据的含义。我们观察到此类方案是次优的，即为了更好地区分异常，需要理解何为正常状态，否则可能产生更高的误报率。为解决该问题，我们提出不确定性调节双记忆单元（UR-DMU）模型，以同时学习正常数据的表示与异常数据的判别性特征。具体而言，受图卷积网络传统全局与局部结构的启发，我们为Transformer网络引入全局与局部多头自注意力（GL-MHSA）模块，以获得更具表达力的嵌入来捕捉视频中的关联。随后，我们使用两个记忆库，其中一个额外的异常记忆用于处理困难样本，以存储并分离异常与正常原型，并最大化两类表示间的间隔。最后，我们提出一种不确定性学习方案来学习正常数据的潜空间，该空间对相机切换、目标变化、场景变换等噪声具有鲁棒性。在XD-Violence与UCF-Crime数据集上的大量实验表明，我们的方法以显著优势优于当前最先进的方法。
引用
@article{arxiv.2302.05160,
title = {Dual Memory Units with Uncertainty Regulation for Weakly Supervised Video Anomaly Detection},
author = {Hang Zhou and Junqing Yu and Wei Yang},
journal= {arXiv preprint arXiv:2302.05160},
year = {2023}
}
备注
AAAI2023 oral