通过Langevin Stein变分梯度下降稳定生成对抗网络训练
机器学习
2020-04-23 v1 计算机视觉与模式识别
机器学习
摘要
生成对抗网络(GANs)以学习复杂底层数据分布的能力而闻名，但众所周知其训练过程较为棘手，可能导致模式崩溃或性能退化。当前处理GAN问题的方法几乎都利用一些实用的训练技巧来进行正则化，这另一方面又损害了GAN的收敛性与理论严谨性。本文提出通过一种新颖的基于粒子的变分推断——Langevin Stein变分梯度下降(LSVGD)来稳定GAN训练，其不仅继承了原始SVGD的灵活性与高效性，还旨在通过向更新动态中引入额外扰动来解决其不稳定性问题。我们进一步证明，通过适当调整噪声方差，LSVGD模拟了一个Langevin过程，其平稳分布恰为目标分布。我们也表明LSVGD动态具有一种隐式正则化，能够增强粒子的分散性与多样性。最后我们给出了一种在通用GAN训练流程上应用基于粒子的变分推断的高效方法，无论采用何种损失函数。在一个合成数据集和三个流行基准数据集——Cifar-10、Tiny-ImageNet和CelebA上的实验结果验证了LSVGD能显著改善各类GAN模型的性能与稳定性。
引用
@article{arxiv.2004.10495,
title = {Stabilizing Training of Generative Adversarial Nets via Langevin Stein Variational Gradient Descent},
author = {Dong Wang and Xiaoqian Qin and Fengyi Song and Li Cheng},
journal= {arXiv preprint arXiv:2004.10495},
year = {2020}
}