随机 L-BFGS：改进的收敛速率与实用加速策略
最优化与控制
2018-02-14 v3 信息论
math.IT
机器学习
摘要
我们重新审视了随机有限内存 BFGS（L-BFGS）算法。通过提出一种新的收敛性分析框架，我们证明了与先前工作相比，随机 L-BFGS 算法具有改进的收敛速率和计算复杂度。此外，我们提出了几种实用的加速策略，以加快此类算法的经验性能。我们还提供了大多数策略的理论分析。在大规模逻辑回归和岭回归问题上的实验表明，与竞争的最先进算法相比，我们提出的策略产生了显著的改进。
引用
@article{arxiv.1704.00116,
title = {Stochastic L-BFGS: Improved Convergence Rates and Practical Acceleration Strategies},
author = {Renbo Zhao and William B. Haskell and Vincent Y. F. Tan},
journal= {arXiv preprint arXiv:1704.00116},
year = {2018}
}