通过反向传播实现深度脉冲神经网络的时间脉冲序列学习
神经与进化计算
2021-06-08 v4 机器学习
摘要
脉冲神经网络（SNNs）非常适用于时空学习以及在节能的事件驱动神经形态处理器上实现。然而，现有的 SNN 误差反向传播（BP）方法未能妥善处理脉冲不连续性，且与传统人工神经网络的 BP 方法相比性能较低。此外，通常需大量时间步才能达到尚可的性能，导致高延迟并使基于脉冲的计算难以扩展到深度架构。我们提出一种新颖的时间脉冲序列学习反向传播（TSSL-BP）方法来训练深度 SNNs，其将误差反向传播分解为两类神经元间与神经元内依赖，从而提升时间学习精度。它通过考虑放电活动的全或无特性，依据突触前放电时刻捕获神经元间依赖，并通过处理各神经元状态随时间的内在演化捕获神经元内依赖。TSSL-BP 在缩短至少数步的时间窗口内高效训练深度 SNNs，同时提升包括 CIFAR10 在内的多种图像分类数据集的准确率。
引用
@article{arxiv.2002.10085,
title = {Temporal Spike Sequence Learning via Backpropagation for Deep Spiking Neural Networks},
author = {Wenrui Zhang and Peng Li},
journal= {arXiv preprint arXiv:2002.10085},
year = {2021}
}
备注
Accepted for spotlight presentation of NeurIPS (Neural Information Processing System) 2020: https://proceedings.neurips.cc/paper/2020/hash/8bdb5058376143fa358981954e7626b8-Abstract.html