用控制理论理解并稳定 GAN 的训练动态
机器学习
2020-07-09 v4 机器学习
摘要
生成对抗网络（GANs）在生成逼真图像方面十分有效，但其训练往往不稳定。现有研究在参数空间中对 GAN 的训练动态进行建模，但这类分析无法直接启发出实践中有效的稳定方法。为此，我们提出一个概念上新颖的视角：从控制理论出发，直接在函数空间中对 GAN 的动态建模，并提供简单而有效的稳定 GAN 训练的方法。我们首先分析了一个典型 Dirac GAN 的训练动态，并采用广泛使用的闭环控制（CLC）来改善其稳定性。随后我们将 CLC 推广到普通 GAN 的训练动态稳定中，其中 CLC 被实现为对判别器输出施加的平方 正则化项。实验结果表明，我们的方法能有效稳定训练，并在数据生成任务上取得最先进的性能。
引用
@article{arxiv.1909.13188,
title = {Understanding and Stabilizing GANs' Training Dynamics with Control Theory},
author = {Kun Xu and Chongxuan Li and Jun Zhu and Bo Zhang},
journal= {arXiv preprint arXiv:1909.13188},
year = {2020}
}