关于随机排列对 ADMM 和坐标下降法效率的研究

观察到随机排列对优化算法具有强大作用：对于多块 ADMM（交替方向乘子法），经典的循环版本会发散，而随机排列版本在实践中收敛；对于 BCD（块坐标下降法），随机排列版本通常快于其他版本。本文通过分析用于求解线性方程组的随机排列 ADMM（RP-ADMM）和用于求解无约束二次问题的随机排列 BCD（RP-BCD），提供了强有力的理论证据，证明随机排列对 ADMM 和 BCD 具有积极影响。首先，我们证明了 RP-ADMM 在期望意义下收敛于线性方程组的解。关键技术结果是 RP-BCD 的期望更新矩阵的谱位于 $(-1/3, 1)$ 区间内，而非典型的 $(-1, 1)$ 范围。其次，我们建立了 RP-ADMM 求解线性方程组以及 RP-BCD 求解无约束二次问题的期望收敛速率。RP-BCD 的这一期望速率比循环 BCD 的最坏情况速率好 $O(n)$ 倍，从而确立了 RP-BCD 与循环 BCD 之间至少 $O(n)$ 的差距。为了分析 RP-BCD，我们提出了一个新的矩阵 AM-GM（算术平均 - 几何平均）不等式猜想，并证明了其较弱版本。