用于大规模机器学习的随机信赖域非精确牛顿法
机器学习
2019-12-30 v3 机器学习
摘要
如今，随机近似方法是处理大规模机器学习问题的主要研究方向之一。由于随机二阶方法具有更快的收敛速度且计算资源日益充足，研究重点正从随机一阶方法转向随机二阶方法。本文提出了一种新颖的随机信赖域非精确牛顿法，称为 STRON，用于求解大规模学习问题，该方法使用共轭梯度法（CG）非精确求解信赖域子问题。该方法在梯度和 Hessian 矩阵的计算中采用渐进式子采样，以充分利用随机和全批量两种机制的优势。我们利用现有的方差缩减技术对 STRON 进行了扩展以处理含噪梯度，并使用预处理共轭梯度法（PCG）作为子问题求解器，但实证表明它们在大规模学习问题中并未达到预期效果。最后，我们的实证结果在基准数据集上证明了所提方法相对于现有方法的有效性。
引用
@article{arxiv.1812.10426,
title = {Stochastic Trust Region Inexact Newton Method for Large-scale Machine Learning},
author = {Vinod Kumar Chauhan and Anuj Sharma and Kalpana Dahiya},
journal= {arXiv preprint arXiv:1812.10426},
year = {2019}
}
备注
32 figures, accepted in International Journal of Machine Learning and Cybernetics