高线：随机自适应学习率算法的精确风险与学习率曲线
最优化与控制
2024-11-15 v2 统计理论
机器学习
统计理论
摘要
我们开发了一个框架，用于分析一大类高维优化问题（我们称之为高线）上的训练和学习率动态，这些问题使用具有自适应学习率的单遍随机梯度下降（SGD）进行训练。我们给出了风险和学习率曲线的精确表达式，这些表达式由常微分方程组的确定性解给出。然后，我们详细研究了两种自适应学习率——理想化的精确线搜索和AdaGrad-Norm——在最小二乘问题上的表现。当数据协方差矩阵具有严格正特征值时，与SGD的最优固定学习率相比，这种理想化的精确线搜索策略可能表现出任意慢的收敛速度。此外，我们精确刻画了在数据协方差仅有两个不同特征值的设定下线搜索的极限学习率（当时间趋于无穷时）。对于无噪声目标，我们进一步证明AdaGrad-Norm学习率收敛到一个与数据协方差矩阵平均特征值成反比的确定性常数，并识别出当特征值密度服从幂律分布时的一个相变。我们在https://github.com/amackenzie1/highline2024提供评估代码。
引用
@article{arxiv.2405.19585,
title = {The High Line: Exact Risk and Learning Rate Curves of Stochastic Adaptive Learning Rate Algorithms},
author = {Elizabeth Collins-Woodfin and Inbar Seroussi and Begoña García Malaxechebarría and Andrew W. Mackenzie and Elliot Paquette and Courtney Paquette},
journal= {arXiv preprint arXiv:2405.19585},
year = {2024}
}
备注
We fixed typos, made clarifications to the document, added a new Conclusions and Limitations section, and included a link to the code used for the numerical simulations that generated the figures in the paper