面向二次目标的 GMRES 加速 ADMM

我们考虑将交替方向乘子法 (ADMM) 应用于一类具有强凸二次目标、等式约束问题的序列加速问题，此类问题常作为内点法的牛顿子问题出现。在此背景下，ADMM 更新方程是线性的，迭代点被限制在 Krylov 子空间内，且广义最小残差 (GMRES) 算法在加速收敛能力上是最优的。基本 ADMM 方法在 $O(\sqrt{\kappa})$ 次迭代内求解一个 $\kappa$-条件数问题。我们给出理论依据和数值证据，表明 GMRES 加速变体一致地在 $O(\kappa^{1/4})$ 次迭代内解决相同问题，迭代次数降低一个数量级，尽管最坏情况界为 $O(\sqrt{\kappa})$ 次迭代。该方法被证明可与针对鞍点问题的标准预条件 Krylov 子空间方法竞争。该方法被嵌入于 SeDuMi（一个用 MATLAB 编写的流行开源锥优化求解器）中，并用于求解许多大规模半定规划，其误差以 $O(1/k^{2})$ 而非 $O(1/k)$ 下降，其中 $k$ 为迭代指标。