我们为何需要 warm-up？——一个理论视角
机器学习
2025-10-06 v1 最优化与控制
机器学习
摘要
学习率 warm-up——在训练初期增加学习率——已成为现代深度学习中普遍的经验法则，但其理论依据仍不为人所理解。在本工作中，我们提供了解释 warm-up 提升训练效果的原则方法。我们依赖一种对 -smoothness 条件的推广，该条件将局部曲率界定为损失次优性的线性函数，并具有良好的封闭性。我们在理论和实证两方面表明，该条件对常见的神经网络架构在均方误差和交叉熵损失下成立。在此假设下，我们证明带有 warm-up 计划的梯度下降法收敛速度快于固定步长，确立了上、下复杂度界限。最后，我们通过在语言模型和视觉模型上的实验验证了理论洞察，确认了 warm-up 计划的实际效益。
关键词
引用
@article{arxiv.2510.03164,
title = {Why Do We Need Warm-up? A Theoretical Perspective},
author = {Foivos Alimisis and Rustem Islamov and Aurelien Lucchi},
journal= {arXiv preprint arXiv:2510.03164},
year = {2025}
}