非凸非凹零和博弈中梯度下降-上升法的庞加莱回归、周期与伪平衡
最优化与控制
2019-10-30 v1 计算机科学与博弈论
机器学习
机器学习
摘要
我们研究了一类广泛的非凸非凹极小极大博弈，它推广了标准双线性零和博弈。在这类博弈中，参与者控制一个光滑函数的输入，该函数的输出被应用于一个双线性零和博弈。这类博弈的动机来自生成对抗网络（GAN）中竞争的间接性，其中参与者控制神经网络的参数，而实际的竞争发生在生成器和判别器所捕获的分布之间。我们从理论上证明，根据问题的具体实例，梯度下降-上升动力学可能表现出多种与收敛到博弈论意义上的极小极大解相悖的行为。具体而言，不同形式的回归行为（包括周期性和庞加莱回归）是可能的，并且对于正测度的初始条件会收敛到伪（非极小极大）平衡。在技术层面，我们的分析结合了来自优化理论、博弈论和动力系统的工具。
引用
@article{arxiv.1910.13010,
title = {Poincar\'e Recurrence, Cycles and Spurious Equilibria in Gradient-Descent-Ascent for Non-Convex Non-Concave Zero-Sum Games},
author = {Lampros Flokas and Emmanouil-Vasileios Vlatakis-Gkaragkounis and Georgios Piliouras},
journal= {arXiv preprint arXiv:1910.13010},
year = {2019}
}
备注
To appear in NeurIPS 2019 (Spotlight talk)