梯度下降的最佳步长计划表的组合
最优化与控制
2025-09-16 v2
摘要
Altschuler 和 Parrilo 以及作者等人最近工作表明，仅通过选择特殊步长即可加速光滑凸函数的梯度下降收敛速度，而无需动量。在本文中，我们提供了一种捕获该领域所有最新进展以及更多内容的通用理论。我们提出了三种“可组合”步长计划表概念，以及与之关联的基本组合运算。除恢复最新工作外，我们从这些运算中构建了三个高度优化的步长计划表序列。我们首先构造每长度通用的优化步长计划表，概括指数分布的银色步长。随后我们构造用于最小化最终目标间隙或梯度范数的高度优化步长计划表，改进了先前的收敛速率中的常数因子，并且更重要的是，匹配或优于数值计算的 minimax 最优计划表。我们推测这些计划表实际上是 minimax (信息论) 最优的。我们理论的若干新颖的次要结果包括：恢复最近的动态梯度范数最小化短步长，并将其扩展到目标间隙最小化。
引用
@article{arxiv.2410.16249,
title = {Composing Optimized Stepsize Schedules for Gradient Descent},
author = {Benjamin Grimmer and Kevin Shu and Alex L. Wang},
journal= {arXiv preprint arXiv:2410.16249},
year = {2025}
}