随机方差缩减 ADMM

交替方向乘子法 (ADMM) 是机器学习中一种强大的优化求解器。最近，随机 ADMM 已与随机梯度的方差缩减方法相结合，产生了具有快速收敛速度和低迭代复杂度的 SAG-ADMM 和 SDCA-ADMM。然而，它们的空间需求仍然可能很高。在本文中，我们提出将 ADMM 与随机方差缩减梯度 (SVRG) 方法相结合。与另一种最近称为 SCAS-ADMM 的结合尝试不同，所提出的算法保留了 SAG-ADMM 和 SDCA-ADMM 的快速收敛优势，但更具优势的是其存储需求非常低，甚至与样本量 $n$ 无关。我们还将所提出的方法扩展到非凸问题，并获得了 $O(1/T)$ 的收敛速度。实验结果表明，它与 SAG-ADMM 和 SDCA-ADMM 一样快，比 SCAS-ADMM 快得多，并且可用于更大的数据集。