DS-ATGO：基于前向自适应阈值与后向梯度优化的脉冲神经网络双阶段协同学习
神经与进化计算
2025-11-18 v1
摘要
受大脑启发的脉冲神经网络（SNN）被认作实现高效低能耗神经器件计算的有前景之路。直接训练SNN通常依赖于代理梯度（SG）学习来估计非可微分脉冲活动的导数。然而，在训练过程中，神经元膜电位分布随时间步变化，逐渐偏向于发放阈值的两侧。如果发放阈值和SG保持不变，可能导致脉冲发放不平衡并使梯度信号减弱，阻止SNN获得良好性能。为此，我们提出一种新颖的双阶段协同学习算法，实现前向自适应阈值和后向动态SG。在前向传播中，我们根据每个时间步的膜电位动态（MPD）分布自适应调整阈值，这丰富了神经元多样性，有效平衡了各时间步和各层的发放率。在后向传播中，基于MPD、阈值与SG之间的潜在关联，我们动态优化SG以通过时空对齐增强梯度估计，有效缓解梯度信息损失。实验结果表明，我们的方法显著提升了性能。此外，它使神经元在每个时间步能够发放稳定的脉冲比例，并增加了获得梯度的神经元在深层网络中的比例。
引用
@article{arxiv.2511.13050,
title = {DS-ATGO: Dual-Stage Synergistic Learning via Forward Adaptive Threshold and Backward Gradient Optimization for Spiking Neural Networks},
author = {Jiaqiang Jiang and Wenfeng Xu and Jing Fan and Rui Yan},
journal= {arXiv preprint arXiv:2511.13050},
year = {2025}
}
备注
accepted by AAAI-26,The 40th Annual AAAI Conference on Artificial Intelligence