压缩你的时间步：迈向基于脉冲神经网络的低延迟神经形态物体识别
计算机视觉与模式识别
2024-01-05 v1 机器学习
图像与视频处理
摘要
基于脉冲神经网络(SNNs)的神经形态物体识别是低功耗神经形态计算的基石。然而，现有的 SNNs 存在显著的延迟问题，需要利用 10 到 40 个甚至更多的时间步来识别神经形态物体。在低延迟下，现有 SNNs 的性能会急剧下降。在这项工作中，我们提出了收缩 SNN(SSNN)，以在不降低性能的情况下实现低延迟神经形态物体识别。具体而言，我们通过将 SNNs 划分为多个具有逐步收缩时间步的阶段来缓解 SNNs 中的时间冗余，从而显著降低推理延迟。在时间步收缩过程中，时间变换器平滑地转换时间尺度并最大限度地保留信息。此外，我们在训练期间向 SNN 添加了多个早期分类器，以缓解代理梯度与真实梯度之间的不匹配以及梯度消失/爆炸问题，从而消除了低延迟下的性能下降。在神经形态数据集 CIFAR10-DVS、N-Caltech101 和 DVS-Gesture 上的大量实验表明，SSNN 能够将基线准确率提高 6.55% 至 21.41%。仅使用 5 个平均时间步且无任何数据增强，SSNN 在 CIFAR10-DVS 上就能达到 73.63% 的准确率。这项工作提出了一种异构时间尺度 SNN，并为开发高性能、低延迟 SNNs 提供了有价值的见解。
引用
@article{arxiv.2401.01912,
title = {Shrinking Your TimeStep: Towards Low-Latency Neuromorphic Object Recognition with Spiking Neural Network},
author = {Yongqi Ding and Lin Zuo and Mengmeng Jing and Pei He and Yongjun Xiao},
journal= {arXiv preprint arXiv:2401.01912},
year = {2024}
}
备注
Accepted by AAAI 2024