通过求解常微分方程训练生成对抗网络
机器学习
2020-12-01 v2 机器学习
摘要
生成对抗网络（GAN）训练的不稳定性常归因于梯度下降。因此，近期方法旨在调整模型和训练过程以稳定离散更新。相反，我们研究由 GAN 训练引发的连续时间动力学。理论和玩具实验均表明这些动力学实际上是惊人地稳定。从这一视角，我们假设 GAN 训练中的不稳定性源于对连续动力学进行离散化时的积分误差。我们通过实验验证，著名的 ODE 求解器（如 Runge-Kutta）结合控制积分误差的正则化项可以稳定训练。我们的方法与此前通常使用自适应优化和约束函数空间（例如谱归一化）的稳定化技术的方法截然不同。在 CIFAR-10 和 ImageNet 上的评估表明，我们的方法优于多个强基线，证明了其有效性。
引用
@article{arxiv.2010.15040,
title = {Training Generative Adversarial Networks by Solving Ordinary Differential Equations},
author = {Chongli Qin and Yan Wu and Jost Tobias Springenberg and Andrew Brock and Jeff Donahue and Timothy P. Lillicrap and Pushmeet Kohli},
journal= {arXiv preprint arXiv:2010.15040},
year = {2020}
}