面向事件相机人体动作识别的时间引导脉冲神经网络
计算机视觉与模式识别
2025-06-12 v3 人工智能
密码学与安全
神经与进化计算
摘要
本文探索脉冲神经网络(SNN)与事件相机在隐私保护型人体动作识别(HAR)中的协同应用。事件相机仅捕捉运动轮廓的独特特性,结合 SNN 通过脉冲处理时空数据的能力,为基于事件的 HAR 提供了高度协同的契合性。然而,以往研究受限于 SNN 处理长期时间信息的能力,而这对于精确的 HAR 至关重要。本文针对此问题提出两种新框架:基于时间片段的 SNN(\textit{TS-SNN})与三维卷积 SNN(\textit{3D-SNN})。\textit{TS-SNN} 通过将动作划分为较短片段来提取长期时间信息;\textit{3D-SNN} 则用三维分量替代二维空间元素,以促进时间信息的传递。为推动基于事件的 HAR 进一步研究,我们构建了一个数据集 \textit{FallingDetection-CeleX},该数据集使用高分辨率 CeleX-V 事件相机 采集,包含 7 种不同动作。大量实验结果表明,所提框架在我们新采集的数据集以及另外三个神经形态数据集上均超越了当前最优的 SNN 方法,展示了其在处理基于事件的 HAR 中长程时间信息方面的有效性。
引用
@article{arxiv.2503.17132,
title = {Temporal-Guided Spiking Neural Networks for Event-Based Human Action Recognition},
author = {Siyuan Yang and Shilin Lu and Shizheng Wang and Meng Hwa Er and Zengwei Zheng and Alex C. Kot},
journal= {arXiv preprint arXiv:2503.17132},
year = {2025}
}