最小二乘回归的更硬、更好、更快、更强的收敛速率
最优化与控制
2016-02-25 v2 机器学习
机器学习
摘要
我们考虑一个二次目标函数的优化，其梯度只能通过随机预言机访问，该预言机返回任意给定点处的梯度加上一个零均值有限方差随机误差。我们提出了首个联合达到最小二乘回归最优预测误差率的算法，既在初始条件遗忘方面为 O(1/n 2)，又在关于噪声和问题维数 d 的依赖性方面为 O(d/n)。我们的新算法基于平均加速正则化梯度下降，并且也可通过关于初始条件和 Hessian 矩阵的更精细假设进行分析，从而得到无量纲量，当上述“最优”项很大时这些量仍可很小。为了刻画这些新界的紧性，我们考虑在非参数回归上的应用，并利用统计性能（无计算限制）的已知下界，这些下界恰好与我们通过单次遍历数据获得的界相匹配，从而展示了我们的算法在偏差与方差之间多种特定权衡中的最优性。
引用
@article{arxiv.1602.05419,
title = {Harder, Better, Faster, Stronger Convergence Rates for Least-Squares Regression},
author = {Aymeric Dieuleveut and Nicolas Flammarion and Francis Bach},
journal= {arXiv preprint arXiv:1602.05419},
year = {2016}
}