具有$\mathcal{O}(1)$每次迭代复杂度的经验风险最小化随机原始对偶方法
最优化与控制
2018-11-06 v1 机器学习
摘要
带线性预测子的正则化经验风险最小化问题在机器学习中频繁出现。本文中，我们提出一种新的随机原始对偶方法来求解此类问题。与现有方法不同，我们提出的方法每次迭代仅需O(1)次操作。我们还开发了该算法的一个方差缩减变体，其呈线性收敛。数值实验表明，在高维问题上，我们的方法快于近端SGD、SVRG和SAGA等现有方法。
引用
@article{arxiv.1811.01182,
title = {Stochastic Primal-Dual Method for Empirical Risk Minimization with $\mathcal{O}(1)$ Per-Iteration Complexity},
author = {Conghui Tan and Tong Zhang and Shiqian Ma and Ji Liu},
journal= {arXiv preprint arXiv:1811.01182},
year = {2018}
}
备注
NIPS 2018