MissionGNN：基于层次化多模态GNN的弱监督视频异常识别
机器学习
2025-05-27 v3
摘要
在不断增加的安全关注下，视频异常检测(VAD)和视频异常识别(VAR)任务在智能监控、证据调查、暴力警报等应用中发挥着至关重要的作用。这类任务旨在识别和分类视频数据中偏离正常行为的异常情况，面临着异常稀缺导致数据极度不平衡以及对监督学习进行大量帧级标注的不可行性等挑战。本文引入一种新颖的基于层次化图神经网络(GNN)的模型MissionGNN，通过利用最先进的大语言模型和全面的知识图谱，实现VAR中的高效弱监督学习。我们的做法规避了前述方法在大型多模态模型上进行大量梯度计算的限制，使我们能够在没有固定视频分割的情况下进行完全帧级训练。利用自动化的任务特定知识图谱生成，我们的模型为无需前述分割或多模态方法约束的实时视频分析提供了实用且高效的解决方案。实验验证表明，我们的模型在基准数据集上实现了VAD和VAR任务，凸显了其在视频监控系统中进行异常检测和识别的潜力。代码可在此处获取：https://github.com/c0510gy/MissionGNN
引用
@article{arxiv.2406.18815,
title = {MissionGNN: Hierarchical Multimodal GNN-based Weakly Supervised Video Anomaly Recognition with Mission-Specific Knowledge Graph Generation},
author = {Sanggeon Yun and Ryozo Masukawa and Minhyoung Na and Mohsen Imani},
journal= {arXiv preprint arXiv:2406.18815},
year = {2025}
}
备注
Accepted to WACV 2025