通过时间前向传播实现动态脉冲神经网络的精确在线训练

大脑中脉冲神经元之间事件驱动且稀疏的通信特性，为灵活且节能的 AI 带来巨大前景。近期学习算法的进展表明，脉冲神经元的循环网络可有效训练，达到与标准循环神经网络相竞争的性能。然而，由于这些学习算法使用时间误差反向传播（BPTT），它们存在高内存需求、训练缓慢且与在线学习不兼容的问题。这限制了这些学习算法在相对较小网络与有限时间序列长度上的应用。已有针对 BPTT 的具有更低计算与内存复杂度的在线近似（e-prop、OSTL）被提出，但在实践中同样受内存限制，且作为近似方法并未超越标准 BPTT 训练。在此，我们展示如何将近期开发的 BPTT 替代方法——时间前向传播（FPTT）应用于脉冲神经网络。不同于 BPTT，FPTT 试图最小化损失上持续的动态正则化风险。因此，FPTT 可以在线方式计算，且相对于序列长度具有固定复杂度。当与一种新颖的动态脉冲神经元模型——液体时间常数神经元结合时，我们展示用 FPTT 训练的 SNN 优于在线 BPTT 近似，并在时间分类任务上接近或超过离线 BPTT 精度。因此，该方法使得以内存友好的在线方式在长序列上训练 SNN，并将 SNN 扩展到新颖复杂的神经架构成为可能。