让基于重建的方法在视频异常检测中重放异彩

视频中的异常检测是一个重要且具有挑战性的问题。以往基于深度神经网络的方法采用基于重建或基于预测的方法。然而，现有的基于重建的方法 1) 依赖于老式的卷积自编码器，不擅长建模时间依赖性；2) 容易过拟合训练样本，导致在推理阶段正常帧与异常帧的重建误差难以区分。为解决这些问题，首先，我们从 transformer 中获得启发，提出名为 $\textbf{STATE}$（${\textbf S}$patio-${\textbf T}$emporal ${\textbf A}$uto-${\textbf T}$rans-${\textbf E}$ncoder，时空自编码变换器）的新型自编码器模型，用于增强连续帧重建。我们的 STATE 配备了一个专门设计的可学习卷积注意力模块，用于高效的时间学习与推理。其次，我们在测试时提出一种新颖的基于重建的输入扰动技术，以进一步区分异常帧。在相同的扰动幅度下，正常帧的测试重建误差比异常帧降低得更多，这有助于缓解重建的过拟合问题。鉴于帧异常性与帧中物体的高度相关性，我们使用原始帧与相应的光流块进行物体级重建。最后，异常分数基于使用扰动输入的原始与运动重建误差的组合来设计。在基准视频异常检测数据集上的大量实验表明，我们的方法以显著优势超越以往的基于重建的方法，并持续取得最先进的异常检测性能。代码见 https://github.com/wyzjack/MRMGA4VAD。