另辟捷径：缓解脉冲神经网络训练中的梯度消失

脉冲神经网络 (SNN) 是一种受生物学启发的神经网络架构，最近引起了广泛关注。它利用二值脉冲激活来传输信息，从而用加法替代乘法，实现了高能效。然而，由于发放脉冲过程的梯度未定义，直接训练 SNN 面临挑战。尽管先前的工作采用了各种代理梯度训练方法，即在反向传播期间使用替代函数替换发放过程，但这些方法忽略了一个内在问题：梯度消失。为解决这一问题，本文提出了一种捷径反向传播方法，主张将梯度直接从损失传输到浅层。这使我们能够直接将梯度呈现给浅层，从而显著缓解梯度消失问题。此外，该方法在推理阶段不引入任何负担。为了在最终精度和训练难度之间取得平衡，我们还提出了一种进化训练框架，并通过引入随训练轮次动态变化的平衡系数来实现，进一步提高了网络性能。在静态和动态数据集上使用多种流行网络结构进行的广泛实验表明，我们的方法始终优于最先进的方法。