即插即用稳态脉冲:SNN训练的零成本加速,跨范式通用
神经与进化计算
2025-12-05 v1
摘要
脉冲神经网络具有事件驱动计算、稀疏激活和硬件效率高等优势,但训练往往收敛缓慢且缺乏稳定性。我们提出自适应稳态脉冲活动调节(Adaptive Homeostatic Spiking Activity Regulation, AHSAR),一种极其简单的即插即用且与训练范式无关的方法,能够在无需改变模型架构、损失函数或梯度的情况下稳定优化并加速收敛。AHSAR不引入任何可训练参数。它在前向传播过程中维护每层的稳态状态,通过有界非线性映射将中心化放电率偏差映射到阈值尺度,使用轻量级跨层扩散以避免剧烈不平衡,并应用跨epoch的慢全局增益,将验证进展与活动能量相结合以调节工作点。计算开销极低。在多种训练方法、不同深度、宽度和时间步长的SNN架构,以及RGB和DVS数据集上,AHSAR一致地改进了强基线方法,并增强了分布外鲁棒性。这些结果表明,将层活动保持在适度范围内是实现可扩展且高效的SNN训练的一个简单而有效的原则。
引用
@article{arxiv.2512.05015,
title = {Plug-and-Play Homeostatic Spark: Zero-Cost Acceleration for SNN Training Across Paradigms},
author = {Rui Chen and Xingyu Chen and Yaoqing Hu and Shihan Kong and Zhiheng Wu and Junzhi Yu},
journal= {arXiv preprint arXiv:2512.05015},
year = {2025}
}
备注
12 pages, 4 figures