对 GAN 训练动态的更好理解与正则化
机器学习
2019-07-02 v2 机器学习
摘要
生成对抗网络（GANs）以难以训练而著称，其（非）收敛行为背后的原因仍未被完全理解。通过首先考虑一个简单但具代表性的 GAN 例子，我们以非渐近方式数学分析了其局部收敛行为。此外，该分析在某些假设下推广到一般 GANs。我们发现，为确保良好的收敛速率，应同时避免 GAN 训练动态中雅可比矩阵的两个因素：其一是相位因子，即雅可比矩阵具有虚实部比值很大的复特征值；其二是条件因子，即雅可比矩阵是病态的。先前正则化雅可比矩阵的方法只能缓解其中一个因素，却使另一个更严重。因此我们提出一种新的 GAN 雅可比正则化（JARE），其通过构造同时解决两个因素。最后，我们进行的实验证实了我们的理论分析，并展示了 JARE 相比先前方法在稳定 GANs 上的优势。
引用
@article{arxiv.1806.09235,
title = {Towards a Better Understanding and Regularization of GAN Training Dynamics},
author = {Weili Nie and Ankit Patel},
journal= {arXiv preprint arXiv:1806.09235},
year = {2019}
}
备注
UAI 2019