一种用于非凸非光滑有限和优化的加速随机 ADMM

带线性约束的非凸非光滑有限和优化问题因在机器学习中的广泛应用以及缺乏具有可信收敛理论的高效算法，在人工智能、计算机与数学领域备受关注。求解该问题的一种流行方法是随机交替方向乘子法(ADMM)，但大多数随机 ADMM 类方法聚焦于凸模型。此外，方差缩减(VR)与加速技术因简洁性及在为各类机器学习模型提供加速特性方面的实用性，是发展随机方法的有用工具。然而，将 SVRG-ADMM 通过引入动量技术扩展得到的加速 SVRG-ADMM 算法(ASVRG-ADMM)在非凸设定下是否展现可类比的加速特性或收敛速率仍不清楚。为填补此空白，我们考虑一般非凸非光滑优化问题并研究 ASVRG-ADMM 的收敛性。通过利用定义良好的势能函数，我们建立了其亚线性收敛速率 $O(1/T)$，其中 $T$ 表示迭代次数。进一步，在比常用于展示线性收敛速率（如强凸性）的条件更宽松的额外 Kurdyka-Lojasiewicz (KL) 性质下，我们证明 ASVRG-ADMM 序列具有有限长度并以线性收敛速率收敛至平稳解。在求解图引导融合 lasso 问题与正则化逻辑回归问题上的若干实验验证了所提 ASVRG-ADMM 优于当前最优(SOTA)方法。