一种用于机器学习的多批次L-BFGS方法
最优化与控制
2016-10-26 v2 机器学习
机器学习
摘要
关于如何并行化随机梯度下降（SGD）方法的问题在文献中备受关注。在本文中，我们转而关注在每次迭代中使用训练集可观部分以促进并行化并采用二阶信息的批处理方法。为了改进学习过程，我们遵循多批次方法，其中批次在每次迭代时改变。这可能导致困难，因为L-BFGS采用梯度差来更新Hessian近似，当这些梯度使用不同数据点计算时，过程可能不稳定。本文展示了如何在多批次设置中执行稳定的拟牛顿更新，说明了该算法在分布式计算平台中的行为，并研究了其在凸和非凸情况下的收敛性质。
引用
@article{arxiv.1605.06049,
title = {A Multi-Batch L-BFGS Method for Machine Learning},
author = {Albert S. Berahas and Jorge Nocedal and Martin Takáč},
journal= {arXiv preprint arXiv:1605.06049},
year = {2016}
}
备注
NIPS 2016. 31 pages, 22 figures