SR1 算法的显式超线性收敛速率
最优化与控制
2021-06-04 v3
摘要
我们研究应用广泛的著名对称秩一（Symmetric Rank-1, SR1）算法的收敛速率。尽管已被广泛研究，与其他拟牛顿法（如 DFP 和 BFGS）相比，SR1 仍缺乏非渐近超线性速率。本文解决了这一问题。受近期拟牛顿法显式收敛分析的启发，我们获得了带修正策略的朴素 SR1 方法的首个显式非渐近超线性收敛速率，以实现数值稳定性。具体而言，带修正策略的朴素 SR1 对一般光滑强凸函数达到形如 的速率，其中 为迭代次数， 为目标函数的条件数， 为问题维度。对于二次函数，朴素 SR1 算法至多 步即可找到目标函数的最优解。
引用
@article{arxiv.2105.07162,
title = {Explicit Superlinear Convergence Rates of The SR1 Algorithm},
author = {Haishan Ye and Dachao Lin and Zhihua Zhang and Xiangyu Chang},
journal= {arXiv preprint arXiv:2105.07162},
year = {2021}
}