IKUN：一种用于保持 SNN 训练与泛化优异的 SURROGATE-STABLE 变异初始化方法
机器学习
2024-11-28 v1 人工智能
摘要
权重初始化对神经网络的收敛和性能具有重要影响。虽然 Xavier 和 Kaiming 等传统方法广泛使用，但往往不足以满足脉冲神经网络(SNN)的独特需求。为此，我们提出了一种集成 surrogate 梯度函数的方差稳定初始化方法，专为 SNN 设计，称为 IKUN。IKUN 稳定信号传播，加速收敛，提高泛化性能。实验表明，IKUN 可提高训练效率最高可达 50%，实现 95% 的训练准确率和 91% 的泛化准确率。Hessian 分析揭示，IKUN 训练的模型收敛到更平坦的极小值，其正侧 Hessian 特征值接近零，促进更好的泛化。该方法已开源供进一步探索：\href{https://github.com/MaeChd/SurrogateVarStabe}{https://github.com/MaeChd/SurrogateVarStabe}。
引用
@article{arxiv.2411.18250,
title = {IKUN: Initialization to Keep snn training and generalization great with sUrrogate-stable variaNce},
author = {Da Chang and Deliang Wang and Xiao Yang},
journal= {arXiv preprint arXiv:2411.18250},
year = {2024}
}