最小二乘回归的加速随机梯度下降法
机器学习
2018-08-02 v2 机器学习
最优化与控制
统计理论
统计理论
摘要
有一种普遍看法认为，由于快速梯度方法（例如 Nesterov 加速、共轭梯度、重球法）的不稳定性和误差累积，无法将其有效用于随机优化目的，这一观念在 d'Aspremont 2008 以及 Devolder、Glineur 和 Nesterov 2014 中被精确阐述。本文针对最小二乘回归问题的随机近似这一特殊情况考虑这些问题，我们的主要结果通过表明加速可以对统计误差具有鲁棒性，反驳了传统认知。具体而言，本文引入了一种加速随机梯度方法，该方法可证明比随机梯度下降更快地达到极小极大最优统计风险。分析的关键在于将加速随机梯度下降敏锐地刻画为一个随机过程。我们希望这一刻画能为设计更简单有效的加速随机方法以用于更一般的凸和非凸优化问题这一更广泛的问题提供见解。
引用
@article{arxiv.1704.08227,
title = {Accelerating Stochastic Gradient Descent For Least Squares Regression},
author = {Prateek Jain and Sham M. Kakade and Rahul Kidambi and Praneeth Netrapalli and Aaron Sidford},
journal= {arXiv preprint arXiv:1704.08227},
year = {2018}
}
备注
54 pages, 3 figures, 1 table; updated acknowledgements, minor title change. Paper appeared in the proceedings of the Conference on Learning Theory (COLT), 2018