通过 CRNN-SNN 转换获取序列学习中的最优脉冲神经网络
人工智能
2024-08-27 v2 计算机视觉与模式识别
摘要
脉冲神经网络（SNN）因其丰富的神经动力学和能效神经形态芯片的实现，正成为传统人工神经网络（ANN）的一种有前景的替代方案。然而，非微分二进制通信机制使 SNN 难以收敛到 ANN 级别的精度。当 SNN 遇到序列学习时，由于建模长程依赖的困难，情况变得更加糟糕。为了克服这些困难，研究人员开发了 LIF 神经元变体和不同的代理梯度，但在序列变长（例如 >500）时仍未能获得良好结果。与它们不同，我们通过直接从量化 CRNN 映射参数获得了序列学习中的最优 SNN。我们设计了两种子流水线以支持神经网络中不同结构的端到端转换，分别称为 CNN-Morph（CNN → QCNN → BIFSNN）和 RNN-Morph（RNN → QRNN → RBIFSNN）。利用转换流水线和 s-analog 编码方法，我们框架的转换误差为零。此外，我们给出了无损 CRNN-SNN 转换的理论和实验验证。我们的结果表明，与最先进的基于学习和基于转换的方法相比，我们的方法在短时间尺度和长时间尺度任务上均有效。我们在 S-MNIST 上达到了 99.16%（0.46 ↑）的最高精度，在 PS-MNIST（序列长度为 784）上达到了 94.95%（3.95 ↑），并在碰撞避免数据集中 8 个时间步内达到了 0.057（0.013 ↓）的最低损失。
引用
@article{arxiv.2408.09403,
title = {Obtaining Optimal Spiking Neural Network in Sequence Learning via CRNN-SNN Conversion},
author = {Jiahao Su and Kang You and Zekai Xu and Weizhi Xu and Zhezhi He},
journal= {arXiv preprint arXiv:2408.09403},
year = {2024}
}
备注
Accepted by 33rd International Conference on Artificial Neural Networks