求解非凸-凹极小极大问题的单循环平滑梯度下降-上升算法

非凸-凹极小极大问题出现在许多机器学习应用中，包括最小化一组非凸函数的逐点最大值以及神经网络的鲁棒对抗训练。解决该问题的一个流行方法是梯度下降-上升(GDA)算法，遗憾的是在非凸情形下会出现振荡。本文中，我们引入一种“平滑”方案，其可与GDA结合以稳定振荡并确保收敛到驻点解。我们证明该稳定化GDA算法在最小化有限个非凸函数的逐点最大值时可达到$O(1/\epsilon^2)$的迭代复杂度。此外，平滑GDA算法对一般非凸-凹问题可达到$O(1/\epsilon^4)$的迭代复杂度。给出了该稳定化GDA算法至多块情形的推广。据我们所知，这是首个对一类非凸-凹问题达到$O(1/\epsilon^2)$的算法。我们在鲁棒训练中说明了稳定化GDA算法的实际效率。