具有受控 Hessian 近似范数的随机阻尼 L-BFGS
机器学习
2020-12-11 v1 数值分析
数值分析
最优化与控制
摘要
我们提出一种新的随机方差缩减阻尼 L-BFGS 算法，利用对 Hessian 近似的最大和最小特征值的界限估计来平衡其质量与条件数。我们的算法 VARCHEN 借鉴了先前提出一种称为 SdLBFGS 的新型随机阻尼 L-BFGS 算法的工作。我们建立了几乎必然收敛到驻点和复杂度界。我们通过实验证明，在修改后的 DavidNet 问题（深度学习中出现的高度非凸且病态的问题）上，VARCHEN 比 SdLBFGS-VR 和 SVRG 更鲁棒，而在逻辑回归问题和非凸支持向量机问题上它们的性能相当。
引用
@article{arxiv.2012.05783,
title = {Stochastic Damped L-BFGS with Controlled Norm of the Hessian Approximation},
author = {Sanae Lotfi and Tiphaine Bonniot de Ruisselet and Dominique Orban and Andrea Lodi},
journal= {arXiv preprint arXiv:2012.05783},
year = {2020}
}
备注
14 pages, 4 figures