BFGS 方法全局复杂度分析
最优化与控制
2024-04-24 v1
摘要
本文对经典的 BFGS 方法进行全局复杂度分析，讨论其在具有 Lipschitz 连续梯度和 Hessian 的强凸函数最小化问题中的应用。我们考察了多种标准线搜索策略，包括基于阿尔米求的回溯线搜索、阿尔米求-戈尔斯坦和沃尔夫泰佩尔线搜索。我们的分析表明，该算法的收敛在实际开始快速超线性收敛之前经历了多个不同的阶段。此外，当初始点远离最小化点时，超线性收敛的开始时刻可能相当大。然而，我们显示，这一缺点可以通过使用简单的重启动程序来轻松纠正。
引用
@article{arxiv.2404.15051,
title = {Global Complexity Analysis of BFGS},
author = {Anton Rodomanov},
journal= {arXiv preprint arXiv:2404.15051},
year = {2024}
}