关于多块 ADMM 的次线性收敛速率

交替方向乘子法（ADMM）广泛用于求解结构化凸优化问题。尽管其在实践中取得了成功，但对于最小化由线性约束连接的 $N$ 个块变量（$N\geq 3$）的 $N$ 个凸函数之和的标准 ADMM 的收敛性质，长期以来一直不清楚。在本文中，我们给出了标准 ADMM 求解 $N$ 块（$N\geq 3$）凸最小化问题的收敛性和收敛速率结果，条件是其中一个函数是凸的（不一定是强凸的），而其余 $N-1$ 个函数是强凸的。具体而言，在这种情况下，证明了 ADMM 以 $O(1/t)$ 的速率在某种遍历意义下收敛，并以 $o(1/t)$ 的速率在非遍历意义下收敛，其中 $t$ 表示迭代次数。作为副产品，我们还提供了两块 ADMM 在目标误差和约束违反方面具有 $O(1/t)$ 收敛速率的简单证明，且无需对惩罚参数和函数的强凸性做任何假设。