用于非凸优化的带方差缩减的随机交替方向乘子法
最优化与控制
2017-07-27 v5 机器学习
摘要
本文研究用于非凸优化的随机交替方向乘子法（ADMM），并基于不同的缩减方差随机梯度，提出了三类带方差缩减的非凸随机 ADMM。具体而言，第一类称为非凸随机方差缩减梯度 ADMM（SVRG-ADMM），采用多阶段方案逐步缩减随机梯度的方差。第二类是非凸随机平均梯度 ADMM（SAG-ADMM），额外使用前次迭代中估计的旧梯度。第三类称为 SAGA-ADMM，是 SAG-ADMM 方法的扩展。此外，在一些温和条件下，我们建立了所提方法获得非凸优化问题 -稳定解的迭代复杂度界 。特别地，我们提供了一个分析这些带方差缩减的非凸随机 ADMM 方法迭代复杂度的通用框架。最后，一些数值实验证明了我们方法的有效性。
引用
@article{arxiv.1610.02758,
title = {Stochastic Alternating Direction Method of Multipliers with Variance Reduction for Nonconvex Optimization},
author = {Feihu Huang and Songcan Chen and Zhaosong Lu},
journal= {arXiv preprint arXiv:1610.02758},
year = {2017}
}
备注
34 pages, 4 figures and 2 tables