用于高效训练脉冲神经网络的电脉冲累积转发
神经与进化计算
2024-07-01 v6 人工智能
摘要
在本文中，我们提出一种训练脉冲神经网络（SNN）的新范式：电脉冲累积转发（SAF）。众所周知，SNN 能效高但难以训练。因此，许多研究者提出了各种方法解决该问题，其中随时间在线训练（OTTT）是一种能在每时间步推理同时抑制内存开销的方法。然而，为在 GPU 上高效计算，OTTT 在转发过程中需要脉冲序列操作与脉冲序列的加权和。此外，OTTT 已显示出与另一种训练方法 Spike Representation 的关联，尽管其与 Spike Representation 的理论一致性尚待证明。我们提出的方法可解决这些问题：即 SAF 能将前向过程中的操作数减半，且可从理论上证明 SAF 分别同 Spike Representation 与 OTTT 一致。进一步地，我们通过实验确认了上述内容，并表明在保持精度的同时可减少内存与训练时间。
引用
@article{arxiv.2310.02772,
title = {Spike Accumulation Forwarding for Effective Training of Spiking Neural Networks},
author = {Ryuji Saiin and Tomoya Shirakawa and Sota Yoshihara and Yoshihide Sawada and Hiroyuki Kusumoto},
journal= {arXiv preprint arXiv:2310.02772},
year = {2024}
}
备注
14 pages, 5 figures, Appendix:10 pages, 2 figures, v6:Published in Transactions on Machine Learning Research