具有O(1/n)收敛速率的随机复合最小二乘回归
最优化与控制
2017-02-22 v1 机器学习
摘要
我们考虑由二次函数期望与任意凸函数组成的复合目标函数的最小化问题。我们研究了具有恒定步长的随机对偶平均算法，证明其在不依赖强凸性假设的情况下可获得O(1/n)的收敛速率。因此，这将早期关于欧几里得几何下最小二乘回归的结果扩展至：(a) 所有凸正则化项和约束，以及 (b) 所有由Bregman散度表示的几何。这一成果通过一种联系随机与确定性递归的新证明技术得以实现。
引用
@article{arxiv.1702.06429,
title = {Stochastic Composite Least-Squares Regression with convergence rate O(1/n)},
author = {Nicolas Flammarion and Francis Bach},
journal= {arXiv preprint arXiv:1702.06429},
year = {2017}
}