基于ADMM的脉冲神经网络训练
机器学习
2026-01-21 v2 人工智能
神经与进化计算
信号处理
最优化与控制
摘要
近年来，脉冲神经网络（SNNs）因其时序处理能力与极低能耗的结合而受到关注。然而，它们仍然缺乏专用的高效训练算法。流行的基于替代梯度的反向传播（从随机梯度下降SGD类算法适配而来）在用作SNN优化器时存在若干缺点。具体而言，替代梯度引入的近似导致数值不精确、训练时SNN放电时刻追踪不佳，进而导致可扩展性差。本文提出了一种基于交替方向乘子法（ADMM）的新型SNN训练方法。我们的基于ADMM的训练旨在通过一种全新的方法解决SNN阶跃函数不可微性问题，而非依赖梯度反向传播。首次，我们将SNN训练问题表述为基于ADMM的迭代优化，推导出闭式更新，并在经验上展示了优化器的收敛性、其巨大潜力，并讨论了改进该方法以适用于不同类型层和更深架构的未来有前景的研究方向。
引用
@article{arxiv.2505.05527,
title = {ADMM-Based Training for Spiking Neural Networks},
author = {Giovanni Perin and Cesare Bidini and Riccardo Mazzieri and Michele Rossi},
journal= {arXiv preprint arXiv:2505.05527},
year = {2026}
}
备注
\c{opyright} 2026 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works