近最优学习率计划是什么样的？
机器学习
2026-03-16 v2
摘要
神经网络训练中一个基本未解之谜是：对于给定工作负载，最佳学习率计划的形状是什么？学习率计划的选择是训练过程成功与否的关键因素，但除了一些温度和衰减之外，没有人达成关于什么样的计划形状才好的共识。为回答此问题，我们设计了一种搜索程序，在参数化的计划系列中寻找最佳形状。我们的ethods方法将计划形状从基本学习率中分离出来，以避免计划之间的比较被主导。我们将搜索程序应用于多种计划系列，并在三个工作负载上测试：线性回归、CIFAR-10上的图像分类以及Wikitext103上的小规模语言建模。我们证明了我们的搜索程序确实通常找到了近最优的计划。我们发现，温度和衰减是良好计划的稳健特征，而常用的计划系列在这些工作负载上并非最优。最后，我们探讨了我们的形状搜索输出如何依赖于其他优化超参数，发现权重衰减对最优计划形状有强烈影响。据我们了解，这些结果至今是深度神经网络训练中近最优计划形状最全面的结果之一。
引用
@article{arxiv.2603.10301,
title = {What do near-optimal learning rate schedules look like?},
author = {Hiroki Naganuma and Atish Agarwala and Priya Kasimbeg and George E. Dahl},
journal= {arXiv preprint arXiv:2603.10301},
year = {2026}
}