通过长步长加速梯度下降的目标间隙与梯度范数收敛
最优化与控制
2024-04-15 v4
摘要
本工作考虑针对 L-平滑凸优化的梯度下降，其步长大于可确保下降的经典区间。所考虑的步长调度与 Altschuler 和 Parrilo 最近的 silver stepsizes 相似但略有不同。对于我们的一个步长序列，我们证明了在目标间隙减小方面具有 的收敛速率；对于另一个步长序列，我们展示了在平方梯度范数减小方面具有相同的减小速率。第一个结果以常数因子改进了 Altschuler 和 Parrilo 最近的成果，而第二个结果则改进了先前最佳平方梯度范数收敛保证 的指数。
引用
@article{arxiv.2403.14045,
title = {Accelerated Objective Gap and Gradient Norm Convergence for Gradient Descent via Long Steps},
author = {Benjamin Grimmer and Kevin Shu and Alex L. Wang},
journal= {arXiv preprint arXiv:2403.14045},
year = {2024}
}