更快且具有非遍历O(1/K)收敛率的随机交替方向乘子法
最优化与控制
2017-04-25 v1
摘要
我们研究受线性等式约束的随机凸优化问题。传统的随机交替方向乘子法及其Nesterov加速方案只能达到遍历收敛率，其中为迭代次数。通过引入方差缩减(VR)技术，收敛率提升至遍历。本文提出一种新的随机ADMM，其精心集成了Nesterov外推与VR技术。我们证明该算法能达到非遍历收敛率，这对于可分离线性约束非光滑凸问题是最优的，而基于VR的ADMM方法在非遍历意义下的收敛率实际为紧的。据我们所知，这是首个针对约束凸问题实现真正加速的随机收敛率的工作。实验结果表明，我们的算法比现有最先进的随机ADMM方法显著更快。
引用
@article{arxiv.1704.06793,
title = {Faster and Non-ergodic O(1/K) Stochastic Alternating Direction Method of Multipliers},
author = {Cong Fang and Feng Cheng and Zhouchen Lin},
journal= {arXiv preprint arXiv:1704.06793},
year = {2017}
}