重启非凸加速梯度下降：在$O(\epsilon^{-7/4})$复杂度中不再有多项式对数因子
最优化与控制
2023-04-27 v4 机器学习
摘要
本文研究具有Lipschitz连续梯度与Hessian的非凸优化加速梯度方法。我们提出两种简单加速梯度方法：重启加速梯度下降（AGD）与重启重球（HB）法，并通过初等证明确立我们的方法在次梯度评估内达到近似一阶驻点。理论上，我们的复杂度不隐藏任何多项式对数因子，因此相较最佳已知复杂度改进了因子。我们的算法简单在于仅由Nesterov经典AGD或Polyak的HB迭代以及重启机制构成，不调用负曲率利用或正则化代理函数最小化作为子程序。与现有分析不同，我们的初等证明使用较不高级的技术且不调用强凸AGD或HB的分析。代码见https://github.com/lihuanML/RestartAGD。
引用
@article{arxiv.2201.11411,
title = {Restarted Nonconvex Accelerated Gradient Descent: No More Polylogarithmic Factor in the $O(\epsilon^{-7/4})$ Complexity},
author = {Huan Li and Zhouchen Lin},
journal= {arXiv preprint arXiv:2201.11411},
year = {2023}
}