基于自集成思想的二进制权重脉冲神经网络有效训练方法
神经与进化计算
2025-08-19 v1 机器学习
摘要
脉冲神经网络（SNNs）因其能效优势而在仿生硬件上具有前景。然而，由于脉冲发生函数的非可微性，训练 SNNs 面临挑战。常用方法是采用通过时间的反向传播框架，同时为不可微函数赋予某些替代值的梯度。类似地，二进制神经网络（BNNs）也面临非可微性问题，依赖近似梯度。然而，这两个领域之间的深层关系以及它们的训练技术如何能相互益处尚未系统研究。此外，训练二进制权重 SNNs 更加困难。本文提出一种新视角来分析 SNNs 的动力学及其与 BNNs 的密切联系。我们展示，训练一个前馈 SNN 可视为训练一个带噪声注入的二进制激活神经网络的自集成。基于对 SNNs 动力学的新理解，我们引入了面向(二进制权重)SNNs 的自集成启发训练方法（SEI-BWSNN），该方法即使在 1 位权重情况下也能以低延迟实现高性能。具体我们利用多个快捷路径和基于知识蒸馏的训练技术来提高(二进制权重)SNNs 的训练效果。值得注意的是，通过对 Transformer 架构中的 FFN 层进行二值化，我们的方法在 ImageNet 上仅用 2 个时间步即可达到 82.52% 的准确率，表明该方法有效且二进制权重 SNNs 有潜力。
引用
@article{arxiv.2508.12609,
title = {A Self-Ensemble Inspired Approach for Effective Training of Binary-Weight Spiking Neural Networks},
author = {Qingyan Meng and Mingqing Xiao and Zhengyu Ma and Huihui Zhou and Yonghong Tian and Zhouchen Lin},
journal= {arXiv preprint arXiv:2508.12609},
year = {2025}
}