凸复合二次规划的块对称高斯-赛德尔分解定理及其应用

对于一个对称半正定线性方程组 $\mathcal{Q} {\bf x} = {\bf b}$，其中 ${\bf x} = (x_1,\ldots,x_s)$ 被划分为 $s$ 个块，$s \geq 2$，我们证明了经典块对称高斯-赛德尔（块 sGS）方法的每一次循环都精确求解相关的二次规划（QP）问题，但附加了一个形式为 $\frac{1}{2} \| {\bf x}-{\bf x}^k \|_{\mathcal T}^2$ 的额外邻近项，其中 ${\mathcal T}$ 是与 sGS 分解相关的对称半正定矩阵，${\bf x}^k$ 是上一次迭代值。利用这种与优化的联系，我们能够将结果（我们称之为块 sGS 分解定理）推广到求解带有 $x_1$ 中额外的可能非光滑项的凸复合 QP（CCQP），即 $\min\{ p(x_1) + \frac{1}{2}\langle {\bf x},\, \mathcal{Q} {\bf x} \rangle -\langle {\bf b},\, {\bf x}\rangle\}$，其中 $p(\cdot)$ 是一个适当的闭凸函数。基于块 sGS 分解定理，我们能够将经典块 sGS 方法推广以求解 CCQP。此外，我们扩展的块 sGS 方法具有灵活性，允许在块 sGS 循环的每一步进行非精确计算。同时，我们还可以加速该非精确块 sGS 方法，使其在执行 $k$ 次块 sGS 循环后达到 $O(1/k^2)$ 的迭代复杂度。作为一个基础性构件，块 sGS 分解定理在各种最近开发的算法中发挥了关键作用，例如用于线性约束多块凸复合锥规划（CCCP）的非精确半邻近 ALM/ADMM，以及用于多块 CCCP 的加速块坐标下降法。