标准拟牛顿方法的非渐近超线性收敛

本文研究并证明了 Broyden 类拟牛顿算法（包括 Davidon--Fletcher--Powell（DFP）方法与 Broyden--Fletcher--Goldfarb--Shanno（BFGS）方法）的非渐近超线性收敛速率。这些拟牛顿方法的渐近超线性收敛速率已在文献中被广泛研究，但其显式有限时间局部收敛速率尚未被充分探究。本文在目标函数强凸、其梯度 Lipschitz 连续、且其 Hessian 在最优解处 Lipschitz 连续的假设下，为 Broyden 拟牛顿算法提供有限时间（非渐近）收敛分析。我们表明，在最优解的局部邻域内，DFP 与 BFGS 生成的迭代以 $(1/k)^{k/2}$ 的超线性速率收敛到最优解，其中 $k$ 为迭代次数。我们还证明了当目标函数为自协调函数时类似的局部超线性收敛结果成立。在若干数据集上的数值实验证实了我们的显式收敛速率界。我们的理论保证是首批为拟牛顿方法提供非渐近超线性收敛速率的结果之一。