对偶下降ALM与ADMM

经典的原始-对偶算法试图通过原始下降交替最小化原始变量$x$、通过对偶上升最大化对偶变量$\mu$来求解$\max_{\mu}\min_{x} \mathcal{L}(x,\mu)$。然而，当$\mathcal{L}(x,\mu)$在$x$上高度非凸且带有复杂约束时，对$x$的最小化可能无法达到全局最优，从而其对偶上升步骤失去有效直观性。这一观察促使我们提出一类新的原始-对偶算法用于非凸约束优化，其关键特征是将对偶上升反转为概念上全新的对偶下降，在某种意义上将对偶变量提升到与原始变量同等的地位。令人惊讶的是，这一新对偶格式在求解非凸优化问题时取得了一些最优迭代复杂度。特别地，当对偶下降步以分数常数缩放时，我们称之为缩放对偶下降（SDD），否则为无缩放对偶下降（UDD）。对于带非线性等式约束的非凸多块优化，我们提出SDD-ADMM，并证明其以$\mathcal{O}(\epsilon^{-4})$次迭代找到$\epsilon$-平稳解。在适当条件下，该复杂度进一步改进至$\mathcal{O}(\epsilon^{-3})$与$\mathcal{O}(\epsilon^{-2})$。我们还提出UDD-ALM，将UDD与ALM结合，用于仿射约束下的弱凸最小化。我们证明UDD-ALM以$\mathcal{O}(\epsilon^{-2})$次迭代找到$\epsilon$-平稳解。这两种算法的复杂度界均达到或改进了ADMM与ALM文献中已知最佳结果。此外，SDD-ADMM解决了现有ADMM框架一个长期存在的局限。