贪婪与随机拟牛顿法的显式收敛速率
最优化与控制
2022-09-13 v5
摘要
优化在机器学习问题中十分重要，而拟牛顿法作为光滑无约束优化最高效的数值格式享有盛誉。本文考虑拟牛顿法的显式超线性收敛速率，并解决 Rodomanov 与 Nesterov 提及的两个开放问题。首先，我们将 Rodomanov 与 Nesterov 的结果推广到随机拟牛顿法，其包含常见的 DFP、BFGS、SR1 方法。此类随机方法在每次迭代中采用随机方向来更新近似 Hessian 矩阵。其次，我们聚焦于具体的拟牛顿法：SR1 与 BFGS 方法。我们提供了贪婪与随机方法的改进版本，具有可证明更优的显式（局部）超线性收敛速率。我们的分析与给定 Hessian 矩阵的逼近、无约束二次目标以及一般的强凸、光滑且强自和谐函数密切相关。
引用
@article{arxiv.2104.08764,
title = {Explicit Convergence Rates of Greedy and Random Quasi-Newton Methods},
author = {Dachao Lin and Haishan Ye and Zhihua Zhang},
journal= {arXiv preprint arXiv:2104.08764},
year = {2022}
}
备注
Fix some typos, 40 pages, 3 figures, final version