一种名为多层级引导-探索网络的框架简介
计算机视觉与模式识别
2024-06-11 v3
摘要
人体行为异常检测旨在识别异常的人类行为,在智能监控等领域发挥着关键作用。当前主流方法仍采用重建或未来帧预测技术。然而,重建或预测低层级像素特征容易使网络获得过强的泛化能力,从而使异常数据也能像正常数据一样被有效地重建或预测。与这些方法不同,受学生-教师网络(Student-Teacher Network)启发,我们提出了一种称为多层级引导-探索网络(Multilevel Guidance-Exploration Network, MGENet)的新型框架,通过引导网络与探索网络之间在高层级表征上的差异来检测异常。具体而言,我们首先利用以骨骼关键点为输入的预训练 Normalizing Flow 来引导一个以未遮蔽 RGB 帧为输入的 RGB 编码器,以探索运动潜在特征;随后,该 RGB 编码器引导一个以遮蔽 RGB 帧为输入的掩码编码器,以探索潜在外观特征。此外,我们设计了一个行为-场景匹配模块(Behavior-Scene Matching Module, BSMM)用于检测与场景相关的行为异常。大量实验表明,我们所提出的方法在 ShanghaiTech 与 UBnormal 数据集上达到了最先进的性能。
引用
@article{arxiv.2312.04119,
title = {A brief introduction to a framework named Multilevel Guidance-Exploration Network},
author = {Guoqing Yang and Zhiming Luo and Jianzhe Gao and Yingxin Lai and Kun Yang and Yifan He and Shaozi Li},
journal= {arXiv preprint arXiv:2312.04119},
year = {2024}
}
备注
More reasonable