可扩展随机交替方向乘子法
机器学习
2015-07-21 v3
摘要
随机交替方向乘子法(ADMM)每次仅访问一个样本或一小批样本，最近被证明比批量ADMM具有更好的性能。然而，大多数随机方法在一般凸问题上只能达到收敛率 ，其中 T 为迭代次数。因此，这些方法在收敛率（计算成本）方面不可扩展。现存只有一种称为SA-ADMM的随机方法能在一般凸问题上达到收敛率 。然而，SA-ADMM需要额外的内存来存储所有样本的历史梯度，因此在存储成本方面不可扩展。在本文中，我们提出一种称为可扩展随机ADMM(SCAS-ADMM)的新方法，用于大规模优化和学习问题。无需存储历史梯度，SCAS-ADMM能在一般凸问题上达到与最佳随机方法SA-ADMM和批量ADMM相同的收敛率 。在图引导融合lasso上的实验表明，SCAS-ADMM能在真实应用中达到最先进的性能。
引用
@article{arxiv.1502.03529,
title = {Scalable Stochastic Alternating Direction Method of Multipliers},
author = {Shen-Yi Zhao and Wu-Jun Li and Zhi-Hua Zhou},
journal= {arXiv preprint arXiv:1502.03529},
year = {2015}
}