交替方向乘子法的自等价性

交替方向乘子法（ADM 或 ADMM）将一个复杂的优化问题分解为更简单的子问题。ADM 算法通常简短且易于实现，并在大规模优化问题上展现出（近乎）最先进的性能。为了应用 ADM，我们首先将给定问题表述为“ADM-ready”形式，因此最终算法取决于该表述。像 $\mbox{minimize}_\mathbf{x} u(\mathbf{x}) + v(\mathbf{C}\mathbf{x})$ 这样的问题有六种不同的“ADM-ready”表述。它们可以是原始形式或对偶形式，其区别在于引入哑变量的方式。对于每种“ADM-ready”表述，根据原始变量的更新方式，ADM 可以按两种不同的顺序应用。最终，我们得到了十二种不同的 ADM 算法！它们之间如何比较？应该选择哪种算法？在本文中，我们展示了应用 ADM 的许多不同方式是等价的。具体而言，我们证明了应用于原始表述的 ADM 等价于应用于其 Lagrange 对偶的 ADM；ADM 等价于应用于同一问题鞍点表述的原始-对偶算法。这些结果令人惊讶，因为 ADM 中的原始变量和对偶变量表面上看起来处理方式截然不同，且先前的一些工作在特定问题上表现出对其中一种的偏好。此外，当两个目标函数之一为二次函数并可能受仿射约束时，我们证明了在 ADM 中交换两个原始变量的更新顺序会得到相同的算法。这些结果确定了一个问题中少数几个真正不同的 ADM 算法，它们通常具有不同形式的子问题，从中很容易挑选出具有计算最友好子问题的算法。