非凸极小极大问题中外梯度与乐观梯度方法的紧分析
机器学习
2022-10-19 v1 最优化与控制
机器学习
摘要
尽管针对凸-凹极小极大问题，乐观梯度下降上升（OGDA）和外梯度（EG）方法已有成熟的收敛理论，但这些方法在非凸设定下的理论保证知之甚少。为弥补此差距，本文首次通过单调用外梯度方法的统一视角，在非凸-强凹（NC-SC）和非凸-凹（NC-C）设定下建立了 OGDA 和 EG 方法的收敛性。我们进一步建立了 GDA/OGDA/EG 收敛的下界，揭示了我们分析的最优性。我们还进行了支持理论结果的实验。我们相信我们的结果将推进对 OGDA 和 EG 方法求解复杂非凸极小极大现实问题（例如生成对抗网络（GANs）或鲁棒神经网络训练）的理论理解。
引用
@article{arxiv.2210.09382,
title = {Tight Analysis of Extra-gradient and Optimistic Gradient Methods For Nonconvex Minimax Problems},
author = {Pouria Mahdavinia and Yuyang Deng and Haochuan Li and Mehrdad Mahdavi},
journal= {arXiv preprint arXiv:2210.09382},
year = {2022}
}