通过高分辨率微分方程理解 PDHG 算法

最小绝对收缩和选择算子（Lasso）在数学和工程的各个领域得到广泛认可。其变体广义 Lasso 在统计学、机器学习、图像科学及相关领域有着广泛应用。在用于解决此问题的优化技术中，鞍点方法脱颖而出，其中原始-对偶混合梯度（PDHG）算法成为特别受欢迎的选择。然而，人们对 PDHG 的迭代行为仍知之甚少。在本文中，我们采用量纲分析推导出专为 PDHG 量身定制的高分辨率常微分方程（ODE）系统。该系统有效地捕捉了 PDHG 的一个关键特征，即耦合的 $x$ 校正和 $y$ 校正，从而将其与近端 Arrow-Hurwicz 算法区分开来。这种微小但必不可少的扰动确保了 PDHG 的一致收敛，绕过了在近端 Arrow-Hurwicz 算法中观察到的周期性行为。通过 Lyapunov 分析，我们研究了高分辨率 ODE 系统的收敛行为，并将我们的见解扩展到离散 PDHG 算法。我们的分析表明，由隐式格式产生的数值误差是影响 PDHG 收敛速率和单调性的关键因素，展现出与交替方向乘子法（ADMM）中观察到的显著模式一致，如 [Li and Shi, 2024] 所指出。此外，我们进一步发现，当目标函数的一个分量是强凸的时，PDHG 的迭代平均值以 $O(1/N)$ 的速率强收敛，其中 $N$ 为迭代次数。