S$^3$NN：用于训练高能效单步脉冲神经网络的脉冲替代梯度时间步缩减
机器学习
2023-02-06 v2 神经与进化计算
摘要
随着神经网络规模增大，需要能够以低计算成本与高能效运行的技术。出于此类需求，已提出多种高效神经网络范式，如脉冲神经网络（SNNs）与二值神经网络（BNNs）。然而它们存在顽固缺陷，如推理精度下降与延迟。为解决这些问题，我们提出单步脉冲神经网络（SNN），一种具有低计算成本与高精度的能效神经网络。所提 SNN 像 SNNs 一样通过脉冲在隐藏层间处理信息。尽管如此，它无时间维度，因此在训练与推理阶段如 BNNs 一样无延迟。因而所提 SNN 比需时序处理的 SNNs 计算成本更低。然而，由于脉冲不可微的本质，SNN 不能采用朴素反向传播算法。我们通过将多时间步 SNNs 的替代梯度缩减至单时间步，推导出合适的神经元模型。实验证明所得替代梯度可使 SNN 被恰当训练。我们还展示了所提 SNN 在极具能效的同时可达到与全精度网络相当的精度。
引用
@article{arxiv.2201.10879,
title = {S$^3$NN: Time Step Reduction of Spiking Surrogate Gradients for Training Energy Efficient Single-Step Spiking Neural Networks},
author = {Kazuma Suetake and Shin-ichi Ikegawa and Ryuji Saiin and Yoshihide Sawada},
journal= {arXiv preprint arXiv:2201.10879},
year = {2023}
}
备注
23 pages, 6 figures