生成对抗网络训练中 Jensen-Shannon 散度的非参数估计
机器学习
2017-10-17 v3
摘要
生成对抗网络 (GANs) 已成为高维数据集生成建模的广泛流行框架。然而，其训练过程众所周知是困难的。本工作对 GANs 进行了严格的统计分析，为常见的训练病理现象（如梯度消失）提供了直接的解释。此外，它提出了一个新的训练目标，即 Kernel GANs，并在大规模真实世界数据集上展示了其实际有效性。分析中的一个关键要素是区分关于（未知）数据分布的训练和关于其经验对应物的训练。为了克服 GAN 训练中的问题，我们追求通过在判别器的输入分布中加入噪声来平滑 Jensen-Shannon 散度 (JSD) 的思想。正如我们所展示的，这有效地导致了 JSD 的一个经验版本，其中真实密度和生成器密度被核密度估计所取代，从而产生了 Kernel GANs。
引用
@article{arxiv.1705.09199,
title = {Non-parametric estimation of Jensen-Shannon Divergence in Generative Adversarial Network training},
author = {Mathieu Sinn and Ambrish Rawat},
journal= {arXiv preprint arXiv:1705.09199},
year = {2017}
}