SpikMamba: 当 SNN 遇见 Mamba 于事件基人类动作识别中
计算机视觉与模式识别
2024-10-23 v1 人工智能
摘要
人类动作识别(HAR)在视频分析、监控、自动驾驶、机器人和医疗保健等诸多应用中发挥着关键作用。大多数HAR算法是基于RGB图像开发的,这些图像捕获了详细的视觉信息。然而,这些算法在因记录可识别特征而引发隐私敏感环境中的担忧。事件相机以稀疏像素级别捕获场景亮度变化的候选信号,而不捕获完整图像。此外,事件相机具有高动态范围,可有效处理复杂光照条件下的情形,如低光或高对比度环境。然而,使用事件相机会为HAR引入对空间稀疏和高时间分辨率事件数据的建模挑战。为此,我们提出了SpikMamba框架,将神经网络的能源效率与 Mamba 的长序列建模能力相结合,高效地从空间稀疏和高时间分辨率事件数据中捕获全局特征。此外,为提高建模的局部性,我们采用基于脉冲窗口的线性注意力机制。大量实验表明,SpikMamba在PAF、HARDVS、DVS128和E-FAction数据集上分别超过了前沿水平的1.45%、7.22%、0.15%和3.92%。代码已公开于 https://github.com/Typistchen/SpikMamba。
引用
@article{arxiv.2410.16746,
title = {SpikMamba: When SNN meets Mamba in Event-based Human Action Recognition},
author = {Jiaqi Chen and Yan Yang and Shizhuo Deng and Da Teng and Liyuan Pan},
journal= {arXiv preprint arXiv:2410.16746},
year = {2024}
}
备注
8 pages, 4 figures