通过步长计划拼接实现梯度下降加速
最优化与控制
2026-02-17 v2
摘要
本文考虑光滑凸目标函数上步长计划的问题。我们扩展了现有文献，提出了一种统一技术，用于构造任意迭代次数的解析步长。该技术通过拼接两个步数较少的步长计划来构建新的步长计划。使用这一方法，我们引入了两个新的步长计划家族，分别实现目标值和梯度范数最后一个迭代的收敛率为 ，并达到业界最佳常数。此外，我们推导的解析步长计划要么匹配，要么优于现有最佳数值计算步长计划。
引用
@article{arxiv.2410.12395,
title = {Accelerated Gradient Descent by Concatenation of Stepsize Schedules},
author = {Zehao Zhang and Rujun Jiang},
journal= {arXiv preprint arXiv:2410.12395},
year = {2026}
}