加速方差缩减随机ADMM
机器学习
2017-07-12 v1 机器学习
摘要
近来，许多方差缩减随机交替方向乘子法（ADMM）方法（如SAG-ADMM、SDCA-ADMM和SVRG-ADMM）取得了令人振奋的进展，例如对强凸问题达到线性收敛速率。然而，对于一般凸问题，已知最佳收敛速率为O(1/T)，而加速批处理算法为O(1/T^2)，其中为迭代次数。因此，现有随机ADMM与批处理算法之间在收敛速率上仍存在差距。为弥补此差距，我们将批优化中的动量加速技巧引入基于随机方差缩减梯度的ADMM（SVRG-ADMM），从而提出了一种加速方法（ASVRG-ADMM）。接着，我们针对强凸和一般凸情形设计了两种不同的动量项更新规则。我们证明了ASVRG-ADMM对强凸问题线性收敛。除了具有与现有随机ADMM方法相同的低单步复杂度外，ASVRG-ADMM将一般凸问题的收敛速率从O(1/T)提升至O(1/T^2)。我们的实验结果显示了ASVRG-ADMM的有效性。
引用
@article{arxiv.1707.03190,
title = {Accelerated Variance Reduced Stochastic ADMM},
author = {Yuanyuan Liu and Fanhua Shang and James Cheng},
journal= {arXiv preprint arXiv:1707.03190},
year = {2017}
}
备注
16 pages, 5 figures, Appears in Proceedings of the 31th AAAI Conference on Artificial Intelligence (AAAI), San Francisco, California, USA, pp. 2287--2293, 2017