结合交替方向乘子法的随机对偶坐标上升法
机器学习
2013-11-05 v1
摘要
我们提出了一种新的随机对偶坐标上升技术，可应用于广泛的正则化学习问题。我们的方法基于交替方向乘子法 (ADMM)，用于处理结构化正则化等复杂的正则化函数。虽然原始的 ADMM 是一种批量方法，但所提出的方法提供了一种随机更新规则，其中每次迭代仅需一个或少量样本观测值。此外，我们的方法天然支持小批量更新，并能加速收敛。我们证明，在温和假设下，该方法呈指数收敛。数值实验表明，我们的方法确实表现高效。
引用
@article{arxiv.1311.0622,
title = {Stochastic Dual Coordinate Ascent with Alternating Direction Multiplier Method},
author = {Taiji Suzuki},
journal= {arXiv preprint arXiv:1311.0622},
year = {2013}
}
备注
26pages, 12 figures