利用循环发放神经元和可学习梯度推进脉冲神经网络的直接训练
神经与进化计算
2026-05-28 v1 人工智能
机器学习
摘要
脉冲神经网络（SNN）因其高能效特性而备受关注，但与人工神经网络（ANN）相比仍存在显著的性能差距。这种差距至少源于两个关键限制：首先，传统的脉冲神经元信息表示能力有限，未能充分利用膜电位的丰富动态特性；其次，跨时间步的固定替代梯度（SG）函数导致梯度传播不精确，阻碍了有效的直接训练。为了解决这两个挑战，我们提出了一种新的直接训练算法，包含三个核心创新：首先，一种循环发放脉冲神经元模型，通过更有效地利用膜电位来增强信息表示能力；其次，一种按时间步可学习的替代梯度函数，能够在反向传播期间实现精确的梯度估计；第三，一种正负平衡损失函数，以实现正负膜电位之间的平衡，并进一步提升SNN性能。大量实验表明，我们的方法在多个数据集上取得了有竞争力的性能。我们的方法可以无缝地泛化到Transformer等先进架构上，并始终优于现有方法。我们的工作突显了进一步利用SNN内在膜动力学来提升性能的有效性，从而为推进高性能脉冲神经架构开辟了一条新途径。
引用
@article{arxiv.2605.27412,
title = {Advancing Direct Training for Spiking Neural Networks with Circulate-Firing Neurons and Learnable Gradients},
author = {Feifan Zhou and Xiang Wei and Yang Liu and Qiang Yu},
journal= {arXiv preprint arXiv:2605.27412},
year = {2026}
}