SpikeGrad：一种用脉冲实现反向传播的 ANN 等价计算模型
神经与进化计算
2019-06-04 v1 机器学习
摘要
基于事件的神经形态系统有望通过将稠密矩阵上的昂贵浮点运算替换为脉冲事件上低功耗的稀疏异步运算，来降低深度学习任务的能耗。虽然这些系统可以使用反向传播算法的近似方法得到越来越好的训练，但这些实现通常需要高精度误差用于训练，因此与神经形态电路典型的通信基础设施不兼容。在本工作中，我们分析了在训练脉冲神经网络时如何将梯度离散化为脉冲事件。为了加速仿真，我们展示了使用一种特殊实现的点积-发放(integrate-and-fire)神经元，可让我们用等价的ANN来描述脉冲神经网络的累积激活与误差，从而与显式仿真所有脉冲事件相比大幅加快训练。以此方式，我们能够证明即使对深层网络，若对梯度适当重缩放，梯度也可被脉冲充分好地离散化。这种基于脉冲的反向传播使我们能在 MNIST 与 CIFAR10 数据集上取得与全精度梯度训练的可比最先进脉冲神经网络等效或更好的准确率。我们将该算法称为 SpikeGrad，其基于累积与比较操作，并能自然利用梯度计算中的稀疏性，这使其成为具备片上学习能力的脉冲神经形态系统的一个有趣选择。
引用
@article{arxiv.1906.00851,
title = {SpikeGrad: An ANN-equivalent Computation Model for Implementing Backpropagation with Spikes},
author = {Johannes Christian Thiele and Olivier Bichler and Antoine Dupret},
journal= {arXiv preprint arXiv:1906.00851},
year = {2019}
}