恒定步长最小均方：偏差-方差权衡与最优采样分布
机器学习
2014-12-02 v1 最优化与控制
机器学习
摘要
我们考虑最小二乘回归问题，并对平均恒定步长随机梯度下降（又称最小均方）的性能进行详细的渐近分析。在强凸情形下，我们给出一个直至显式指数衰减项的渐近展开。我们的分析为随机逼近算法带来了新的见解：(a) 它对允许的步长给出了更紧的界；(b) 泛化误差可分解为一个方差项，其衰减为O(1/n)，与步长无关，以及一个偏差项，其衰减为O(1/^2 n^2)；(c) 当允许非均匀采样时，良好采样密度的选择取决于方差项还是偏差项占主导。特别地，当方差项占主导时，最优采样密度不会带来太大增益，而当偏差项占主导时，我们可以选择更大的步长，从而带来显著改进。
引用
@article{arxiv.1412.0156,
title = {Constant Step Size Least-Mean-Square: Bias-Variance Trade-offs and Optimal Sampling Distributions},
author = {Alexandre Défossez and Francis Bach},
journal= {arXiv preprint arXiv:1412.0156},
year = {2014}
}