非凸 minimax 优化的两时间尺度梯度下降升阶算法

我们对针对结构化非凸 minimax 优化问题的两时间尺度梯度下降升阶算法（TTGDA）进行统一分析，问题形式为$\min_\mathbf{x} \max_{\mathbf{y} \in Y} f(\mathbf{x}, \mathbf{y})$，其中目标函数$f(\mathbf{x}, \mathbf{y})$关于$\mathbf{x}$非凸，关于$\mathbf{y}$凹，约束集$Y \subseteq \mathbb{R}^n$为凸且有界。在凸-凹情形下，单时间尺度梯度下降升阶（GDA）算法在实际应用中广泛使用，已被证明具有强大的收敛保证。然而，在更一般的情形下，GDA算法可能无法收敛。我们的贡献是设计有效的TTGDA算法，超越凸-凹情形，高效地找到函数$\Phi(\cdot) := \max_{\mathbf{y} \in Y} f(\cdot, \mathbf{y})$的平稳点。我们还建立了求解光滑和非光滑非凸-凹 minimax 优化问题的复杂度界。据我们所知，这是首次对TTGDA在非凸 minimax 优化中的系统性分析，揭示了其在训练生成对抗网络（GANs）以及其他实际应用问题中的优越性能。