用于非凸极小极大机器学习的加速近端交替梯度下降-上升算法

交替梯度下降-上升（AltGDA）是一种优化算法，已广泛用于各类机器学习应用中的模型训练，旨在求解非凸极小极大优化问题。然而，现有研究表明其在非凸极小极大优化中计算复杂度高。本文中，我们开发了一种单循环且快速的 AltGDA 型算法，利用近端梯度更新与动量加速来求解正则化非凸极小极大优化问题。借助动量加速技术，我们证明该算法在非凸极小极大优化中收敛至临界点，并达到 $\mathcal{O}(\kappa^{\frac{11}{6}}\epsilon^{-2})$ 阶的计算复杂度，其中 $\epsilon$ 为期望精度、$\kappa$ 为问题条件数。{该计算复杂度改善了单循环 GDA 与 AltGDA 算法的最优复杂度（对比总结见 \Cref{table1}）}。我们通过对抗深度学习实验验证了算法的有效性。