拟牛顿法：自协调函数无需线搜索的超线性收敛
最优化与控制
2018-08-13 v3
摘要
我们考虑在基于梯度的迭代方法（包括拟牛顿法）中使用曲率自适应步长来最小化自协调函数，扩展了 Nesterov 最初为牛顿法提出的方法。该步长具有可解析计算的简单表达式；因此不需要线搜索。我们表明，在 BFGS 方法（以及 Broyden 凸类中除 DFP 方法外的拟牛顿方法）中使用此步长，可对强凸自协调函数实现超线性收敛。我们给出了数值实验，将使用曲率自适应步长的梯度下降和 BFGS 方法与传统方法在确定性逻辑回归问题上进行比较，并与随机优化问题上的随机梯度下降版本进行比较。
引用
@article{arxiv.1612.06965,
title = {Quasi-Newton Methods: Superlinear Convergence Without Line Searches for Self-Concordant Functions},
author = {Wenbo Gao and Donald Goldfarb},
journal= {arXiv preprint arXiv:1612.06965},
year = {2018}
}
备注
v3: Added appendix on stochastic problems. To appear in Optimization Methods and Software. v2: fixed cleveref labels. 22 pages, 3 figures