深度脉冲神经网络反向传播中修正线性突触后电位函数
摘要
脉冲神经网络（SNNs）利用时空脉冲模式来表示和传输信息，这不仅具有生物学真实性，也适用于超低功耗事件驱动的神经形态实现。受深度学习成功的推动，深度脉冲神经网络（DeepSNNs）的研究为人工智能应用提供了有前景的方向。然而，DeepSNNs 的训练并不简单，因为被广泛研究的误差反向传播（BP）算法不能直接适用。在本文中，我们首先建立对误差反向传播为何在 DeepSNNs 中表现不佳的理解。为解决该问题，我们提出了一种简单而高效的用于脉冲神经元的修正线性突触后电位函数（ReL-PSP），并提出了一种用于 DeepSNNs 的脉冲时序依赖反向传播（STDBP）学习算法。在 STDBP 算法中，单个脉冲的时序被用于传递信息（时间编码），并且学习（反向传播）以事件驱动的方式基于脉冲时序执行。我们的实验结果表明，所提出的学习算法在基于单脉冲时间的 DeepSNNs 学习算法中达到了最先进的分类精度。此外，通过利用从所提出的 STDBP 学习算法获得的训练模型参数，我们在最近提出的神经形态推理加速器上展示了超低功耗推理操作。实验结果表明，该神经形态硬件消耗 0.751~mW 的总功耗，并以 47.71~ms 的低延迟对来自 MNIST 数据集的图像进行分类。总体而言，本工作研究了脉冲时序动力学对信息编码、突触可塑性和决策制定的贡献，为未来的 DeepSNNs 和神经形态硬件系统设计提供了新的视角。
引用
@article{arxiv.2003.11837,
title = {Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks},
author = {Malu Zhang and Jiadong Wang and Burin Amornpaisannon and Zhixuan Zhang and VPK Miriyala and Ammar Belatreche and Hong Qu and Jibin Wu and Yansong Chua and Trevor E. Carlson and Haizhou Li},
journal= {arXiv preprint arXiv:2003.11837},
year = {2020}
}
备注
This work has been submitted to the IEEE for possible publication. Copyrightmay be transferred without notice, after which this version may no longer beaccessible