基于事件的反向传播可计算脉冲神经网络的精确梯度
神经元与认知
2021-06-22 v3 神经与进化计算
摘要
脉冲神经网络将模拟计算与基于离散脉冲的事件通信相结合。尽管深度学习的显著进展由使用反向传播算法训练非脉冲人工神经网络所实现，但将该算法应用于脉冲网络此前受限于离散脉冲事件与不连续性的存在。本工作首次通过应用伴随方法与适当的偏导数跳跃，推导了连续时间脉冲神经网络及一般损失函数的反向传播算法，从而无需近似即可通过离散脉冲事件进行反向传播。该算法 EventProp 在脉冲时刻反向传播误差，以基于事件、时间和空间稀疏的方式计算精确梯度。我们使用通过 EventProp 计算的梯度，在 Yin-Yang 和 MNIST 数据集上采用基于脉冲时间或基于电压的 loss 函数训练网络，并报告了具有竞争力的性能。我们的工作支持对脉冲神经网络中基于梯度的学习算法进行严格研究，并为其在新型脑启发硬件中的实现提供见解。
引用
@article{arxiv.2009.08378,
title = {Event-Based Backpropagation can compute Exact Gradients for Spiking Neural Networks},
author = {Timo C. Wunderlich and Christian Pehle},
journal= {arXiv preprint arXiv:2009.08378},
year = {2021}
}