训练生成对抗网络时梯度下降-上升的局部收敛性
机器学习
2023-05-30 v2 机器学习
摘要
生成对抗网络（GANs）是一种广受欢迎的用于训练复杂高维数据生成模型的表述形式。训练 GANs 的标准方法涉及在极小极大优化问题上执行梯度下降-上升（GDA）过程。由于动力学非线性本质，该过程总体上难以分析。我们研究了使用基于核的判别器训练 GAN 时 GDA 的局部动力学。该收敛分析基于对标量描述 GDA 迭代的非线性动力系统的线性化，并基于 [Becker et al. 2022] 的“孤立点模型”假设。我们的分析揭示了学习率、正则化以及核判别器的带宽对 GDA 局部收敛速率的影响。重要的是，我们展示了指示系统收敛、振荡或发散的相变现象。我们还提供了验证上述结论的数值模拟。
引用
@article{arxiv.2305.08277,
title = {Local Convergence of Gradient Descent-Ascent for Training Generative Adversarial Networks},
author = {Evan Becker and Parthe Pandit and Sundeep Rangan and Alyson K. Fletcher},
journal= {arXiv preprint arXiv:2305.08277},
year = {2023}
}