用于训练深度循环脉冲神经网络的脉冲序列级反向传播

脉冲神经网络（SNNs）良好地支持时空学习以及高能效的事件驱动硬件神经形态处理器。作为 SNNs 的重要一类，循环脉冲神经网络（RSNNs）具有很强的计算能力。然而，RSNNs 的实际应用受到训练难题的严重限制。受生物学启发的无监督学习在提升 RSNNs 性能方面能力有限。另一方面，现有的反向传播（BP）方法在应用于 RSNNs 时，面临时间展开的高复杂度、梯度消失与爆炸，以及不连续脉冲活动的近似微分等问题。为了在定义良好的损失函数下实现 RSNNs 的有监督训练，我们提出一种新颖的脉冲序列级 RSNNs 反向传播（ST-RSBP）算法用于训练深度 RSNNs。所提出的 ST-RSBP 直接计算定义在网络输出层的速率编码损失函数相对于可调参数的梯度。ST-RSBP 的可扩展性通过所提出的脉冲序列级计算实现，在此过程中 SNN 的时序效应在 BP 的前向和反向传播中均被捕获。我们的 ST-RSBP 算法可广泛适用于具有单个循环层的 RSNNs 或具有多个前馈和循环层的深度 RSNNs。基于包括 TI46、N-TIDIGITS、Fashion-MNIST 和 MNIST 在内的具有挑战性的语音和图像数据集，ST-RSBP 能够训练 RSNNs，其准确率超越当前最先进的 SNN BP 算法和常规非脉冲深度学习模型。