加速梯度下降：一种启发式重启策略的保证界
最优化与控制
2023-10-12 v1
摘要
加速梯度下降在函数值上的 收敛速率是最优的，但已有许多改进被用于实践中加速收敛。这些改进中包括重启，即将当前迭代视为初始点来启动算法。我们关注 O'Donoghue 和 Candès 引入的自适应重启技术，特别是其梯度重启策略。虽然梯度重启策略一般而言是启发式的，我们证明在一维函数上应用梯度重启保持且事实上改进了 界，从而确立了函数值的收敛性。我们给出了结果在可分离和近可分离函数上的应用。
引用
@article{arxiv.2310.07674,
title = {Accelerated gradient descent: A guaranteed bound for a heuristic restart strategy},
author = {Walaa M. Moursi and Viktor Pavlovic and Stephen A. Vavasis},
journal= {arXiv preprint arXiv:2310.07674},
year = {2023}
}