交互至关重要：关于生成对抗网络非渐近局部收敛的注记
机器学习
2020-07-27 v2 计算机科学与博弈论
机器学习
摘要
出于对生成对抗网络（GANs）系统性计算与算法理解的追求，我们提出一个简单而统一的非渐近局部收敛理论，适用于光滑双人博弈，并涵盖若干基于离散时间梯度的鞍点动力学。该分析揭示了非对角交互项既为福又为祸的惊人本质。一方面，该交互项解释了 Simultaneous Gradient Ascent（SGA）收敛到稳定纳什均衡时减速效应的起源。另一方面，对于不稳定均衡，得益于该交互项，可为四种用于稳定 GAN 训练的改进动力学证明指数收敛：Optimistic Mirror Descent（OMD）、Consensus Optimization（CO）、Implicit Updates（IU）与 Predictive Method（PM）。该分析揭示了这些稳定技术之间的内在联系，并提供了关于学习率选择的详细刻画。作为副产品，我们对 Daskalakis、Ilyas、Syrgkanis 和 Zeng [2017] 提出的 OMD 给出了具有更优速率的新分析。
引用
@article{arxiv.1802.06132,
title = {Interaction Matters: A Note on Non-asymptotic Local Convergence of Generative Adversarial Networks},
author = {Tengyuan Liang and James Stokes},
journal= {arXiv preprint arXiv:1802.06132},
year = {2020}
}
备注
To appear in the proceedings of the 22nd International Conference on Artificial Intelligence and Statistics (AISTATS) 2019