关于非凸-凹极小极大问题的梯度下降上升法

我们考虑非凸-凹极小极大问题，$\min_{\mathbf{x}} \max_{\mathbf{y} \in \mathcal{Y}} f(\mathbf{x}, \mathbf{y})$，其中$f$关于$\mathbf{x}$非凸但关于$\mathbf{y}$凹，且$\mathcal{Y}$是凸且有界集合。求解该问题最流行的算法之一是为学界所熟知的梯度下降上升（GDA）算法，其已广泛应用于机器学习、控制理论与经济学。尽管在凸-凹设定下已有大量收敛结果，等步长GDA在一般设定下会收敛到极限环甚至发散。本文中，我们给出双时间尺度GDA求解非凸-凹极小极大问题的复杂度结果，表明该算法能高效找到函数$\Phi(\cdot) := \max_{\mathbf{y} \in \mathcal{Y}} f(\cdot, \mathbf{y})$的驻点。据我们所知，这是该设定下双时间尺度GDA的首个非渐近分析，为其训练生成对抗网络（GANs）及其他实际应用中的优越表现提供了启示。