用于非凸优化的更快随机交替方向乘子法

在本文中，我们通过使用一种新的随机路径积分微分估计器（SPIDER），提出了一种用于非凸优化的更快随机交替方向乘子法（ADMM），称为SPIDER-ADMM。此外，我们证明SPIDER-ADMM在寻找ε-近似驻点方面实现了破纪录的增量一阶预言机（IFO）复杂度$\mathcal{O}(n+n^{1/2}\epsilon^{-1})$，相比确定性ADMM改进了$\mathcal{O}(n^{1/2})$倍，其中$n$表示样本大小。作为本文的主要贡献之一，我们为非凸随机ADMM方法提供了一个新的理论分析框架，并给出了最优IFO复杂度。基于这一新分析框架，我们研究了现有非凸SVRG-ADMM和SAGA-ADMM方法尚未解决的最优IFO复杂度，并证明它们具有$\mathcal{O}(n+n^{2/3}\epsilon^{-1})$的最优IFO复杂度。因此，SPIDER-ADMM相比现有随机ADMM方法改进了$\mathcal{O}(n^{1/6})$倍。此外，我们将SPIDER-ADMM扩展到在线设置，并提出了一种更快的在线SPIDER-ADMM。我们的理论分析表明，在线SPIDER-ADMM具有$\mathcal{O}(\epsilon^{-\frac{3}{2}})$的IFO复杂度，相比现有最佳结果改进了$\mathcal{O}(\epsilon^{-\frac{1}{2}})$倍。最后，在基准数据集上的实验结果验证了所提算法相比现有ADMM算法在非凸优化中具有更快的收敛速度。