关于 GAN 的异常泛化
机器学习
2019-10-08 v2 计算机视觉与模式识别
摘要
生成模型，尤其是生成对抗网络（GANs），近来受到了显著关注。然而，据观察，在某些属性方面，例如图像中简单几何基元的数量，GANs 在实践中无法学习目标分布。受此观察启发，我们发现了导致 GANs 异常泛化行为的两个具体问题，我们称之为样本不足与逐像素组合。针对样本不足的第一个问题，我们从理论与经验上表明，实践中训练样本的批量大小可能不足以让判别器学习准确的判别函数。这可能导致生成器训练动态不稳定，从而引发异常泛化。针对逐像素组合的第二个问题，我们发现除了将正训练样本识别为真实外，在某些情况下，判别器可能被欺骗而将正训练样本的逐像素组合（例如逐像素平均）识别为真实。然而，这些组合在视觉上可能与目标分布中的真实样本不同。以被欺骗的判别器为参照，生成器会进一步获得有偏的监督，导致异常泛化行为。此外，本文中我们提出了缓解 GANs 异常泛化的方法。在基准上的大量实验表明，我们提出的方法在自然图像数据集上将 FID 分数提升了至多 30%。
引用
@article{arxiv.1909.12638,
title = {On the Anomalous Generalization of GANs},
author = {Jinchen Xuan and Yunchang Yang and Ze Yang and Di He and Liwei Wang},
journal= {arXiv preprint arXiv:1909.12638},
year = {2019}
}