一类非凸非凹极小极大问题的全局收敛与方差缩减优化
最优化与控制
2020-02-25 v1 机器学习
机器学习
摘要
非凸极小极大问题频繁出现在新兴机器学习应用中，例如生成对抗网络和对抗学习。诸如梯度下降 ascent（GDA）之类的简单算法是解决这些非凸博弈的常用做法，并取得大量经验成功。然而，已知这些具有常数步长的原始 GDA 算法即使在凸设定下也可能发散。本工作中，我们证明对于满足所谓双侧 Polyak-{\L}ojasiewicz 不等式的一类非凸非凹目标，交替梯度下降 ascent（AGDA）算法以线性速率全局收敛，且随机 AGDA 达到次线性速率。我们进一步开发了方差缩减算法，在问题具有有限和结构时，该算法可达到理论上快于 AGDA 的速率。
引用
@article{arxiv.2002.09621,
title = {Global Convergence and Variance-Reduced Optimization for a Class of Nonconvex-Nonconcave Minimax Problems},
author = {Junchi Yang and Negar Kiyavash and Niao He},
journal= {arXiv preprint arXiv:2002.09621},
year = {2020}
}