用于训练深度脉冲神经网络的宏/微混合反向传播
摘要
脉冲神经网络 (SNNs) 有望实现时空信息处理与超低功耗事件驱动神经形态硬件。然而，SNNs 尚未达到传统深度人工神经网络 (ANNs) 的同等性能，这是因训练中遇到的复杂动力学与不可微发放事件所导致的长期挑战。现有 SNN 误差反向传播 (BP) 方法在可扩展性、对发放不连续性的不当处理、以及率编码损失函数与所计算梯度之间的不匹配方面存在局限。我们提出一种用于训练多层 SNNs 的宏/微混合反向传播 (HM2-BP) 算法。所提出的脉冲序列级突触后电位 (S-PSP) 在微观层面精确捕获时间效应。率编码误差在宏观层面定义、计算并跨宏观与微观层面反向传播。不同于现有 BP 方法，HM2-BP 直接计算率编码损失函数关于可调参数的梯度。我们基于静态 MNIST [14] 与动态神经形态 N-MNIST [26] 训练深度全连接与卷积 SNNs 来评估所提 HM2-BP 算法。HM2-BP 在 MNIST 与 N-MNIST 上分别取得 99.49% 与 98.88% 的准确率，优于现有 SNN BP 算法的最佳报道性能。此外，HM2-BP 基于 SNNs 在 EMNIST [3] 数据集上取得最高准确率，并对 TI46 语料库 [16] 的 16 说话人英语字母语音（一项具挑战性的时空语音识别基准，此前无基于 SNNs 的成功报道）实现高识别准确率。在处理异步脉冲流时，它也取得了超越传统深度学习模型的竞争性能。
引用
@article{arxiv.1805.07866,
title = {Hybrid Macro/Micro Level Backpropagation for Training Deep Spiking Neural Networks},
author = {Yingyezhe Jin and Wenrui Zhang and Peng Li},
journal= {arXiv preprint arXiv:1805.07866},
year = {2019}
}
备注
11 pages, 5 figures. Published at NeurIPS (Neural Information Processing System) 2018. Code available: https://github.com/jinyyy666/mm-bp-snn