SpikePoint：一种用于事件相机动作识别的高效基于点的脉冲神经网络
计算机视觉与模式识别
2024-01-24 v2
摘要
事件相机是受生物启发的传感器，可对局部光强变化做出响应，并具有低延迟、高能量效率与高动态范围。同时，脉冲神经网络（SNNs）因其卓越的效率与容错性而备受关注。通过协同利用事件相机固有的能量效率与 SNNs 基于脉冲的处理能力，二者的融合可实现超低功耗应用场景，如动作识别任务。然而，现有方法常将异步事件转换为常规帧，导致额外的数据映射工作与稀疏性丧失，违背了 SNNs 与事件相机的设计理念。为应对该挑战，我们提出 SpikePoint，一种新颖的端到端基于点的 SNN 架构。SpikePoint 擅长处理稀疏事件云数据，通过单阶段结构有效提取全局与局部特征。借助替代训练方法，SpikePoint 以极少参数实现高准确率并保持低功耗，尤其在多样数据集上采用恒等映射特征提取器。SpikePoint 仅用 16 个时间步即在四个基于事件的动作识别数据集上取得最先进（SOTA）性能，超越其他 SNN 方法。此外，其在三个数据集上亦取得超越所有方法的 SOTA 性能，仅使用人工神经网络（ANNs）约 0.3% 的参数与 0.5% 的功耗。这些结果凸显了点云的重要性，并为众多超低功耗基于事件的数据处理应用铺平了道路。
引用
@article{arxiv.2310.07189,
title = {SpikePoint: An Efficient Point-based Spiking Neural Network for Event Cameras Action Recognition},
author = {Hongwei Ren and Yue Zhou and Yulong Huang and Haotian Fu and Xiaopeng Lin and Jie Song and Bojun Cheng},
journal= {arXiv preprint arXiv:2310.07189},
year = {2024}
}
备注
Accepted by ICLR 2024 (Spotlight)