递归脉冲神经网络的可扩展混合训练方法
神经与进化计算
2025-06-18 v1 人工智能
机器学习
摘要
递归脉冲神经网络 (RSNN) 可在仿生系统中高效实现。然而，这些模型的训练主要在标准数字硬件上使用基于时间反向传播 (BPTT) 的强大梯度学习算法进行。然而，BPTT 存在显著局限性：它不允许在线训练，其内存消耗随计算步骤数呈线性增长。相比之下，使用前向梯度传播的学习方法可在线工作，内存消耗与时间步数无关。这些方法使 SNN 能够从连续、无限长度的输入序列中学习。然而，传统硬件上的执行速度较慢且性能较差，阻碍了其广泛应用。本文引入 HYbrid PRopagation (HYPR) 方法，结合并行化效率与近似在线前向学习。我们的算法通过并行化实现高吞吐量的在线学习，同时保持常数（即与序列长度无关）的内存需求。HYPR 使 RSNN 的参数更新计算能够对几乎任意非线性脉冲神经元模型进行并行化处理。我们将 HYPR 应用于具有振荡亚阴值动力学的脉冲神经元网络。我们发现，这种神经元模型特别适合由 HYPR 训练，实现了前向梯度学习与 BPTT 之间前所未有的低任务性能差距。
引用
@article{arxiv.2506.14464,
title = {A Scalable Hybrid Training Approach for Recurrent Spiking Neural Networks},
author = {Maximilian Baronig and Yeganeh Bahariasl and Ozan Özdenizci and Robert Legenstein},
journal= {arXiv preprint arXiv:2506.14464},
year = {2025}
}