准线搜索下梯度法最坏复杂度的解析分析与Polyak步长
最优化与控制
2024-07-09 v1
摘要
我们对梯度法在准确线搜索和Polyak步长下的最坏复杂度进行了新颖的解析分析，以此之前只能通过计算机辅助证明来实现。我们的分析基于研究一族梯度法的线性收敛，该步长包括由准确线搜索和Polyak步长确定的步长作为特殊实例。我们还研究了该族的渐近行为，结果显示在最小和最大特征值对应的特征向量张成的二维子空间中，采用Polyak步长的梯度法会发生摆动。
引用
@article{arxiv.2407.04914,
title = {Analytic analysis of the worst-case complexity of the gradient method with exact line search and the Polyak stepsize},
author = {Ya-Kui Huang and Hou-Duo Qi},
journal= {arXiv preprint arXiv:2407.04914},
year = {2024}
}
备注
15 pages