多块非凸非光滑近端 ADMM：在 Kurdyka-Łojasiewicz 性质下的收敛性与收敛速率

本文考虑一种多块广义交替方向乘子法（GADMM）算法，用于最小化带线性约束的可分离非凸且可能非光滑优化问题。GADMM 通过在每次原始变量更新中包含近端项以及在对偶更新中包含过松弛参数，推广了经典 ADMM。我们证明序列的任意极限点都是临界点。通过引入修正的增广拉格朗日函数，我们证明 GADMM 生成的序列有界且连续项之差的范数趋于零。在强有力的 KL 性质下，我们证明 GADMM 序列具有有限长度并收敛到驻点，且推导了其收敛速率。给定适当的下半连续函数 $f:\mathbb R^n\to\mathbb R$ 和临界点 $x^*\in\mathbb R^n$，KL 性质断言存在连续凹单调递增函数 $\psi$，使得在 $x^*$ 附近有 $\psi'(f(x)-f(x^*))\cdot{\rm dist}(0,\partial f(x))\ge 1$。当 $\psi(s)=s^{1-\theta}$ 且 $\theta\in[0,1]$ 时，这等价于 $|f(x)-f(x^*)|^{\theta}{\rm dist}(0,\partial f(x))^{-1}$ 在 $x^*$ 附近有界。我们证明若 $\theta=0$，GADMM 生成的序列在有限次迭代内收敛。若 $\theta\in(0,1/2]$，则收敛速率为 $cQ^{k}$，其中 $c>0$，$Q\in(0,1)$，$k\in\mathbb N$ 为迭代次数。若 $\theta\in(1/2,1]$ 则将达到速率 $\mathcal O(1/k^{r})$，其中 $r=(1-\theta)/(2\theta-1)$。