锐化拟牛顿法：更快的超线性速率与更大的局部收敛邻域
最优化与控制
2022-06-17 v2
摘要
拟牛顿法的非渐近分析近来受到关注。特别地，若干工作通过利用牛顿方向近似误差趋于零的事实，建立了（经典）BFGS方法的非渐近超线性速率 。此外，最近提出了BFGS的一种贪婪变体，其通过直接近似Hessian矩阵而非牛顿方向来加速收敛，并实现了快速的局部二次收敛速率。然而，Greedy-BFGS的局部二次收敛所需的更新次数远多于BFGS达到局部超线性速率所需的迭代次数。这是因为Greedy-BFGS中直接近似Hessian矩阵，其牛顿方向近似可能不如BFGS准确。本文弥补这一差距，提出一种新颖的BFGS方法，兼具两者优势：它利用BFGS与Greedy-BFGS的近似思想，同时恰当地近似牛顿方向与Hessian矩阵。我们的理论结果表明，该方法在收敛速率上优于BFGS与Greedy-BFGS，且相比Greedy-BFGS以更少的步数达到二次收敛速率。在多个数据集上的数值实验也证实了我们的理论发现。
引用
@article{arxiv.2202.10538,
title = {Sharpened Quasi-Newton Methods: Faster Superlinear Rate and Larger Local Convergence Neighborhood},
author = {Qiujiang Jin and Alec Koppel and Ketan Rajawat and Aryan Mokhtari},
journal= {arXiv preprint arXiv:2202.10538},
year = {2022}
}