Eigencurve：在具有偏斜 Hessian 谱的二次目标上 SGD 的最优学习率调度
机器学习
2022-06-15 v3 最优化与控制
摘要
学习率调度器在深度神经网络训练中被广泛采用。尽管其实用性很重要，但其实践与理论分析之间存在差距。例如，即使在优化二次目标这样的简单问题上，人们也不知道 SGD 的何种调度能达到最佳收敛。在本文中，我们提出 Eigencurve，这是首个能够在底层 Hessian 矩阵的特征值分布偏斜时（该条件在实践中相当常见），对二次目标上的 SGD 实现极小极大最优收敛速率（至多相差一个常数）的学习率调度族。实验结果表明，在 CIFAR-10 上的图像分类任务中，Eigencurve 可以显著优于阶梯衰减，尤其是在训练轮数较少时。此外，该理论启发了两种可用于实际应用的简单学习率调度器，它们能近似 eigencurve。对于某些问题，所提调度器的最优形状类似于余弦衰减，这解释了余弦衰减在此类情形下成功的原因。对于其他情形，所提调度器优于余弦衰减。
引用
@article{arxiv.2110.14109,
title = {Eigencurve: Optimal Learning Rate Schedule for SGD on Quadratic Objectives with Skewed Hessian Spectrums},
author = {Rui Pan and Haishan Ye and Tong Zhang},
journal= {arXiv preprint arXiv:2110.14109},
year = {2022}
}
备注
Published at ICLR 2022