看见 GAN 无法生成的内容
计算机视觉与模式识别
2019-10-28 v1 图形学
机器学习
图像与视频处理
摘要
尽管生成对抗网络（Generative Adversarial Networks, GANs）取得了成功，模式崩溃仍是 GAN 训练中的严重问题。迄今，鲜有工作关注于理解并量化一个模型究竟丢弃了哪些模式。本工作中，我们在分布层面与实例层面可视化模式崩溃。首先，我们部署一个语义分割网络，比较生成图像中分割物体的分布与训练集中目标分布的差异。统计上的差异揭示了被 GAN 遗漏的物体类别。其次，给定已识别的遗漏物体类别，我们直接可视化 GAN 的遗漏。具体地，我们比较单张照片与其由 GAN 近似反演之间的特定差异。为此，我们放宽反演问题，转而求解反演 GAN 某一层这一可处理的问题，而非反演整个生成器。最后，我们利用该框架分析多个近期在多种数据集上训练的 GAN，并识别其典型失败案例。
引用
@article{arxiv.1910.11626,
title = {Seeing What a GAN Cannot Generate},
author = {David Bau and Jun-Yan Zhu and Jonas Wulff and William Peebles and Hendrik Strobelt and Bolei Zhou and Antonio Torralba},
journal= {arXiv preprint arXiv:1910.11626},
year = {2019}
}
备注
ICCV 2019 oral; http://ganseeing.csail.mit.edu/