ADMM型算法的一般最优步长：域参数化与最优率

本工作中，我们解决了一个49年来的开放问题——ADMM型算法的一般最优步长。对于凸规划：$\text{min.} \, f({x}) + g({z})$，$\text{s.t.}\, {A}{x} - {B}{z} = {c}$，给定任意不动点初始化${\zeta}^0$，最优步长选择由以下多项式的一个根给出：\begin{equation*} \rho^4\Vert {A}{x}^\star\Vert^2 - \rho^3\langle {A}{x}^\star, {\zeta}^0\rangle + \rho\langle {\lambda}^\star,{\zeta}^0\rangle - \Vert{\lambda}^\star\Vert^2 = 0, \end{equation*} 其中$\rho \neq 0$为域步长，其与经典正步长通过$\gamma = \rho^2$关联。我们以$\cdot^\star$表示最优解，以${\lambda}$表示等式约束(对偶变量)的拉格朗日乘子。上述多项式恒有闭式解。最优性体现在最小化最坏情况不动点收敛率，这是归一化原始与对偶迭代收敛速度(互逆相关)的平衡。当原始或对偶解为平凡解(零向量)时，可仅通过加速非平凡序列来改进。实际使用中，以当前迭代自适应替换上述最优解，其在每次迭代已知。数值上，其表现出与理论最优几乎一致的性能(迭代数次后)，类似于底层最佳固定步长(通过穷举网格搜索得到)。