具有显式超线性收敛的贪心拟牛顿法
最优化与控制
2021-06-02 v3
摘要
在本文中，我们研究拟牛顿法的贪心变体。它们基于 Broyden 族中某一子类的更新公式。特别地，该子类包含著名的 DFP、BFGS 和 SR1 更新。然而，与经典拟牛顿法使用连续迭代之差来更新 Hessian 近似不同，我们的方法采用贪心选取的基向量，以最大化某种进展度量。对于贪心拟牛顿法，我们建立了其局部超线性收敛速率的显式非渐近界，其中包含一个依赖于迭代计数器平方的收缩因子。我们还表明，这些方法产生的 Hessian 近似与精确 Hessian 的偏差线性收敛到零。
引用
@article{arxiv.2002.00657,
title = {Greedy Quasi-Newton Methods with Explicit Superlinear Convergence},
author = {Anton Rodomanov and Yurii Nesterov},
journal= {arXiv preprint arXiv:2002.00657},
year = {2021}
}