关于原始对偶混合梯度法及更一般方法的极小次微分尺度

原始对偶混合梯度法(PDHG,亦称 Chambolle 和 Pock 方法)是一种被广泛研究用于求解带双线性交互项极大极小优化问题的算法。近来,PDHG 被用作新型 LP 求解器 PDLP 的基础算法,该求解器旨在利用 GPU 和分布式系统等现代计算资源求解大规模 LP 实例。以往关于 PDHG 的收敛性结果多基于对偶间隙或到最优解集的距离,这些量在求解过程中通常难以计算。本文提出一种用于分析 PDHG 的新进展度量,我们称之为极小次微分尺度(IDS),其利用了 PDHG 迭代点的几何结构。IDS 是光滑问题梯度范数到非光滑问题的自然推广,且在 LP 情形下与 KKT 误差相关联。与传统的 PDHG 进展度量相比,IDS 始终具有有限值,且可仅利用当前解的信息计算。我们证明了 IDS 单调衰减,对于求解凸凹原始对偶问题具有 $\mathcal O(\frac{1}{k})$ 的次线性速率,若问题进一步满足正则条件(如线性规划、二次规划、TV 去噪模型等应用所满足的),则具有线性收敛速率。我们分析简洁且 IDS 单调衰减,表明 IDS 是分析 PDHG 的自然进展度量。作为分析的副产品,我们证明了对于凸凹问题,PDHG 最后一次迭代的原始对偶间隙具有 $\mathcal O(\frac{1}{\sqrt{k}})$ 的收敛速率。关于 PDHG 的分析与结果可直接推广至其他原始对偶算法,例如邻近点法(PPM)、交替方向乘子法(ADMM)和线性化交替方向乘子法(l-ADMM)。