子采样生成对抗网络：基于 Softplus 损失的特徵空间密度比估计
机器学习
2020-04-22 v5 机器学习
摘要
从训练好的生成对抗网络（GANs）中过滤掉不真实图像近来引起了相当多的关注。两种基于密度比的子采样方法——判别器拒绝采样（DRS）和 Metropolis-Hastings GAN（MH-GAN）——最近被提出，并且它们在多个数据集上改进 GANs 的有效性得到了证明。然而，DRS 和 MH-GAN 基于判别器密度比估计（DRE）方法，因此若训练好的 GAN 中的判别器远离最优，它们可能表现不佳。此外，它们不适用于某些 GANs（例如 MMD-GAN）。本文中，我们提出一种用于 DRE 的新颖 Softplus（SP）损失。基于此，我们在由专门设计且预训练的 ResNet-34（DRE-F-SP）学习的特徵空间中开发了基于样本的密度比估计方法。我们推导了在 SP 损失下训练的密度比模型的收敛速率。然后，我们基于 DRE-F-SP 提出了三种不同的密度比子采样方法（DRE-F-SP+RS、DRE-F-SP+MH 和 DRE-F-SP+SIR）用于 GANs。我们的子采样方法不依赖于判别器的最优性，并且适用于所有类型的 GANs。我们通过实验表明，使用多个 GANs，我们的子采样方法在合成数据集和 CIFAR-10 数据集上可以大幅优于 DRS 和 MH-GAN。
引用
@article{arxiv.1909.10670,
title = {Subsampling Generative Adversarial Networks: Density Ratio Estimation in Feature Space with Softplus Loss},
author = {Xin Ding and Z. Jane Wang and William J. Welch},
journal= {arXiv preprint arXiv:1909.10670},
year = {2020}
}