在线有限内存 BFGS 的全局收敛性
最优化与控制
2014-09-09 v1 机器学习
机器学习
摘要
建立了用于求解大规模机器学习中出现的随机目标优化问题的 Broyden-Fletcher-Goldfarb-Shanno (BFGS) 拟牛顿法的在线（随机）有限内存版本的全局收敛性。证明了样本函数 Hessian 特征值的上下界足以保证曲率近似矩阵具有有界的行列式和迹，进而允许以概率 1 建立收敛至最优解。在支持向量机上的数值实验（使用合成数据）展示了相对于随机梯度下降算法在收敛时间上的减少，以及相对于其他在线拟牛顿法在存储和计算上的减少。对搜索引擎广告问题的实验评估证实了这些优势在实际应用中同样存在。
引用
@article{arxiv.1409.2045,
title = {Global Convergence of Online Limited Memory BFGS},
author = {Aryan Mokhtari and Alejandro Ribeiro},
journal= {arXiv preprint arXiv:1409.2045},
year = {2014}
}
备注
37 pages