SDNA：用于经验风险最小化的随机对偶牛顿上升法
机器学习
2015-02-10 v1
摘要
我们提出一种用于最小化正则化经验损失的新算法：随机对偶牛顿上升法 (SDNA)。我们的方法本质上是对偶的：在每次迭代中我们更新对偶变量的随机子集。然而，与随机对偶坐标上升等现有方法不同，SDNA 能够利用样本中包含的所有曲率信息，这在理论和实践上均带来显著提升——有时达数个数量级。在原始问题使用 L2 正则化项的特殊情况下，对偶问题是一个凹二次最大化问题加上一个可分离项。在此情形下，SDNA 在每一步求解一个涉及二次函数 Hessian 矩阵的随机主子矩阵的邻近子问题；此即该方法名称的由来。此外，若损失函数为二次的，我们的方法可解释为最近提出的迭代 Hessian 草图 (Iterative Hessian Sketch) 的一种新变体。
引用
@article{arxiv.1502.02268,
title = {SDNA: Stochastic Dual Newton Ascent for Empirical Risk Minimization},
author = {Zheng Qu and Peter Richtárik and Martin Takáč and Olivier Fercoq},
journal= {arXiv preprint arXiv:1502.02268},
year = {2015}
}