脉动初始化：为深度学习开启新纪元
机器学习
2025-12-11 v3 人工智能
摘要
初始化在深度神经网络训练中发挥着关键作用，直接影响收敛性、稳定性和泛化能力。常见方法如 Glorot 和 He 初始化依赖随机性，可能导致层间连接权重分布不均。在本文中，我们引入了脉动初始化，这是一种新型确定性方法，运用正弦函数构建结构化权重矩阵，以提高权重在网络中的分布均匀性，同时从一开始就促进神经元激活状态的均匀、良好条件分布。由于脉动初始化从一开始就使用均匀且高效的权重和激活，能够在广泛的模型中实现持续更快的收敛、更好的训练稳定性和更高的最终准确率，包括卷积神经网络、视觉 Transformer 和大语言模型。实验表明，平均而言，我们的实验显示最终验证准确率提升 4.9%，收敛速度提升 20.9%。通过用结构取代随机性，脉动初始化为深度学习系统提供了更强大且更可靠的基础。
引用
@article{arxiv.2505.12909,
title = {Sinusoidal Initialization, Time for a New Start},
author = {Alberto Fernández-Hernández and Jose I. Mestre and Manuel F. Dolz and Jose Duato and Enrique S. Quintana-Ortí},
journal= {arXiv preprint arXiv:2505.12909},
year = {2025}
}