EEvAct：基于高速双流脉冲神经网络的早期事件驱动动作识别
计算机视觉与模式识别
2025-07-11 v1 神经与进化计算
摘要
早期识别人类活动对于人机和人机界面系统的安全和响应性至关重要。由于其高时序分辨率和低延迟，事件驱动视觉传感器是满足这一需求的理想选择。然而，大多数现有处理方法将事件累积到低速帧或时空体素上，这限制了早期预测的能力。相比之下，脉冲神经网络 (SNN) 可在高速下处理事件以实现早期预测，但大多数工作在最终准确率方面仍不足。本文引入一种高速双流 SNN，以显著提升性能，在大型 THU EACT-50 数据集上实现准确率提升约 2%。我们在一种新颖的早期事件驱动识别框架中对 SNN 进行基准测试，报告随观察时间增长的 Top-1 和 Top-5 识别得分。最后，我们以早期动作触发人体动作捕捉为例，展示了这些方法的实际应用价值。
引用
@article{arxiv.2507.07734,
title = {EEvAct: Early Event-Based Action Recognition with High-Rate Two-Stream Spiking Neural Networks},
author = {Michael Neumeier and Jules Lecomte and Nils Kazinski and Soubarna Banik and Bing Li and Axel von Arnim},
journal= {arXiv preprint arXiv:2507.07734},
year = {2025}
}
备注
International Conference on Neuromorphic Systems (ICONS) 2025