结合门控类Token融合的双分支 VideoMamba 暴力检测
计算机视觉与模式识别
2025-09-29 v2 人工智能
机器学习
摘要
监控摄像头的快速普及增加了对自动化暴力检测的需求。虽然 CNN 和 Transformer 在提取时空特征方面取得了成功，但它们在处理长期依赖和计算效率方面存在困难。我们提出了结合门控类Token融合(GCTF)的双分支 VideoMamba，这是一种结合双分支设计和状态空间模型(SSM)骨干网络的高效架构，其中一个分支捕获空间特征，另一个分支关注时间动态。该模型通过分支间的门控机制执行连续融合，以增强模型即使在具有挑战性的监控场景中检测暴力活动的能力。我们还通过合并视频暴力检测中的 RWF-2000、RLVS、SURV 和 VioPeru 数据集提出了一个新基准，确保训练集和测试集之间的严格分离。实验结果表明，我们的模型在该基准以及另一个视频暴力检测新数据集 DVD 数据集上均取得了 SOTA 性能，在准确性和计算效率之间取得了最佳平衡，展示了 SSM 在可扩展的、近实时监控暴力检测方面的潜力。
引用
@article{arxiv.2506.03162,
title = {Dual Branch VideoMamba with Gated Class Token Fusion for Violence Detection},
author = {Damith Chamalke Senadeera and Xiaoyun Yang and Shibo Li and Muhammad Awais and Dimitrios Kollias and Gregory Slabaugh},
journal= {arXiv preprint arXiv:2506.03162},
year = {2025}
}