求解线性约束非凸极小化的近端交替方向乘子法

考虑在多面体上极小化一个非凸可微函数。求解该问题的一种流行的原始-对偶一阶方法是：对增广 Lagrange 函数执行梯度投影迭代，然后利用约束残差更新对偶乘子向量。然而，数值例子表明这种方法会出现“振荡”现象且可能不收敛。在本文中，针对该问题的多块版本，我们提出了一种近端交替方向乘子法。该方法的一个显著特征是引入了原始迭代序列的“平滑”（即指数加权）序列，并在每次迭代中，向增广 Lagrange 函数加入以当前平滑原始迭代点为中心的二次近端项。由此得到的近端增广 Lagrange 函数在每次迭代中被非精确极小化（通过梯度投影步骤），同时对偶乘子向量利用线性约束的残差进行更新。我们证明了，当原始和对偶步长选取充分小时，适当的“平滑”能够稳定“振荡”，并且在一些温和的正则性条件下，新的近端 ADMM 算法的迭代序列收敛到一个稳定点。此外，当目标函数为二次函数时，我们建立了该算法的线性收敛性。我们的证明基于一个新的势函数以及对误差界的新颖运用。