SVRG在统计估计中的线性收敛
机器学习
2017-07-28 v3 机器学习
摘要
SVRG及其变体是当前大规模机器学习问题中最为先进的优化算法之一。众所周知，当目标函数强凸时，SVRG具有线性收敛性。然而这一设定可能过于严格，且未涵盖若干重要形式，如Lasso、组Lasso、逻辑回归，以及一些非凸模型，包括修正Lasso和SCAD。本文证明，对于涵盖上述示例的一类统计M-估计量，SVRG在该形式下以线性收敛率求解，无需强凸性甚至无需凸性。我们的分析利用了限制强凸性，在此条件下，我们证明SVRG线性收敛至模型的基本统计精度，即真实未知参数 与模型最优解 之间的差异。
引用
@article{arxiv.1611.01957,
title = {Linear Convergence of SVRG in Statistical Estimation},
author = {Chao Qu and Yan Li and Huan Xu},
journal= {arXiv preprint arXiv:1611.01957},
year = {2017}
}