用于非凸-PL 极小极大优化的增强自适应梯度算法

极小极大优化近期被广泛应用于许多机器学习任务，如生成对抗网络、鲁棒学习和强化学习。本文研究一类带非光滑正则化的非凸-非凹极小极大优化，其中目标函数关于原变量 $x$ 可能非凸，关于对偶变量 $y$ 非凹且满足 Polyak-Lojasiewicz（PL）条件。此外，我们提出一类增强的基于动量的梯度下降 ascent 方法（即 MSGDA 和 AdaMSGDA）来求解这些随机非凸-PL 极小极大问题。特别地，我们的 AdaMSGDA 算法可在更新变量 $x$ 和 $y$ 时使用各种自适应学习率，而不依赖任何特定类型。理论上，我们证明我们的方法在每轮仅需一个样本寻找 $\epsilon$-平稳解时具有最佳的已知样本复杂度 $\tilde{O}(\epsilon^{-3})$。在 PL-game 和 Wasserstein-GAN 上的一些数值实验证明了我们所提方法的效率。