基于注意力原型网络的视频正常学习
计算机视觉与模式识别
2021-08-26 v1
摘要
基于自编码器（Auto-Encoder, AE）的帧重建（当前帧或未来帧）是一种流行的视频异常检测方法。在正常数据上训练的模型，通常对异常场景的重建误差远大于正常场景。以往的方法将记忆库引入 AE，以编码训练视频中的多种正常模式。然而，这些方法消耗内存，且无法处理测试数据中未见的新场景。在本工作中，我们提出一种自注意力原型单元（Self-Attention Prototype Unit, APU），以实时将正常潜空间编码为原型，且无需额外内存开销。此外，我们将循环注意力机制引入主干网络，形成一种新颖的特征提取学习器，即循环注意力单元（Circulative Attention Unit, CAU）。它仅需少量迭代更新，即可实现对新场景的快速适应能力。我们在多个基准上进行了大量实验。优于现有技术的性能证明了我们方法的有效性。我们的代码可在 https://github.com/huchao-AI/APN/ 获取。
引用
@article{arxiv.2108.11055,
title = {Normal Learning in Videos with Attention Prototype Network},
author = {Chao Hu and Fan Wu and Weijie Wu and Weibin Qiu and Shengxin Lai},
journal= {arXiv preprint arXiv:2108.11055},
year = {2021}
}