非线性共轭梯度法：通过计算机辅助分析的最坏情况收敛速率
最优化与控制
2024-09-20 v5
摘要
我们提出一种计算机辅助方法来分析非线性共轭梯度法（NCGMs）的最坏情况收敛。这些方法以在大规模优化中普遍良好的经验表现而闻名，但分析相对不完整。利用我们的计算机辅助方法，我们为光滑强凸最小化的 Polak-Ribière-Polyak (PRP) 和 Fletcher-Reeves (FR) NCGMs 建立了新的复杂度界。特别地，我们构造了数学证明，确立了 FR（历史上首个开发的 NCGM）的第一个非渐近收敛界，以及 PRP 的大为改进的非渐近收敛界。此外，我们提供了简单的对抗性例子，在这些例子上这些方法的表现不优于精确线搜索的梯度下降，从而在同类问题上留给改进的空间非常小。
引用
@article{arxiv.2301.01530,
title = {Nonlinear conjugate gradient methods: worst-case convergence rates via computer-assisted analyses},
author = {Shuvomoy Das Gupta and Robert M. Freund and Xu Andy Sun and Adrien Taylor},
journal= {arXiv preprint arXiv:2301.01530},
year = {2024}
}
备注
Published in Mathematical Programming Series A. DOI: https://doi.org/10.1007/s10107-024-02127-7