基于二阶信息与随机批次的 L-BFGS 加速方法
机器学习
2018-07-17 v1 最优化与控制
机器学习
摘要
本文提出一种基于（近似）二阶信息与随机批次的 L-BFGS 框架，作为有限和最小化问题的新方法。与随机批次导致不稳定的经典 L-BFGS 不同，我们使用平滑估计来计算梯度差分，同时通过良好缩放初始 Hessian 实现加速。我们对凸和非凸情形均提供了理论分析。此外，我们展示了在最小二乘和交叉熵损失的流行应用中，该算法在分布式环境下具有简单实现方式。数值实验支持了我们所提算法的效率。
引用
@article{arxiv.1807.05328,
title = {On the Acceleration of L-BFGS with Second-Order Information and Stochastic Batches},
author = {Jie Liu and Yu Rong and Martin Takac and Junzhou Huang},
journal= {arXiv preprint arXiv:1807.05328},
year = {2018}
}