约束极小极大优化的加速单调用方法

我们研究约束极小极大优化的一阶方法。现有方法在每次迭代中要么需要两次梯度调用，要么需要两次投影，这在某些应用中代价高昂。本文中，我们首先证明 Optimistic Gradient（OG）方法的一个变体——一种单调用单投影算法——对于满足弱 Minty 变分不等式（MVI）算子的包含问题具有 $O(\frac{1}{\sqrt{T}})$ 的最佳迭代收敛速率。我们的第二个结果是首个单调用单投影算法——加速反射梯度（ARG）方法，它对满足负余单调性的包含问题实现了最优的 $O(\frac{1}{T})$ 末次迭代收敛速率。弱 MVI 与负余单调性均为被充分研究的假设，并涵盖了一类丰富的非凸非凹极小极大优化问题。最后，我们证明反射梯度（RG）方法——另一种单调用单投影算法——对约束凸凹极小极大优化具有 $O(\frac{1}{\sqrt{T}})$ 的末次迭代收敛速率，回答了 [Heish 等人, 2019] 的一个开放问题。我们的收敛速率对切残差与自然残差等标准度量成立。