非凸非光滑优化中 ADMM 的全局收敛性

在本文中，我们分析了用于在耦合线性等式约束下最小化非凸且可能非光滑目标函数 $\phi(x_0,\ldots,x_p,y)$ 的交替方向乘子法（ADMM）的收敛性。我们的 ADMM 更新每个原变量 $x_0,\ldots,x_p,y$，随后更新对偶变量。我们将变量 $y$ 从 $x_i$ 中分离出来，因为它在我们的分析中具有特殊作用。所开发的收敛保证涵盖了多种非凸函数，例如分段线性函数、$\ell_q$ 拟范数、Schatten-$q$ 拟范数（$0<q<1$）、极小极大凹惩罚（MCP）以及平滑剪切绝对偏差（SCAD）惩罚。它还允许非凸约束，例如紧流形（如球面、Stiefel 和 Grassman 流形）以及线性互补约束。此外，$x_0$ 块可以是几乎任何下半连续函数。通过应用我们的分析，我们首次表明，应用于求解统计学习、流形优化和矩阵分解中非凸模型的几种 ADMM 算法是有保证收敛的。我们的结果为 ADMM 在具有三个或更多块的（凸或非凸）单调规划上的收敛提供了充分条件，因为它们是我们模型的特例。ADMM 一直被认为是增广拉格朗日方法（ALM）的一种变体。我们给出了一个简单的例子来说明在罚参数 $\beta$ 有界的情况下 ADMM 如何收敛而 ALM 如何发散。由该例及本文中的其他分析表明，对于某些非凸非光滑问题，ADMM 可能是比 ALM 更好的选择，因为 ADMM 不仅更易于实现，而且在所关注的场景中也更有可能收敛。