重新思考条件GAN训练：一种利用几何结构潜流形的方法
计算机视觉与模式识别
2021-06-03 v3
摘要
条件GAN（cGAN）在其基本形式中存在关键缺陷，例如生成输出缺乏多样性以及潜流形与输出流形之间的失真。尽管已作出努力以改善结果，但它们可能遭受不愉快的副作用，例如潜空间与输出空间之间的拓扑不匹配。相比之下，我们从几何视角解决此问题，并提出一种新颖的训练机制，通过系统地鼓励潜流形与输出流形之间的双Lipschitz映射，来提高 vanilla（原始）cGAN的多样性与视觉质量。我们在一个缺乏多样性的基线cGAN（即Pix2Pix）上验证了我们解决方案的有效性，并表明仅修改其训练机制（即采用我们提出的Pix2Pix-Geo），即可在广泛的图像到图像翻译任务上实现更多样且更真实的输出。代码可在 https://github.com/samgregoost/Rethinking-CGANs 获取。
引用
@article{arxiv.2011.13055,
title = {Rethinking conditional GAN training: An approach using geometrically structured latent manifolds},
author = {Sameera Ramasinghe and Moshiur Farazi and Salman Khan and Nick Barnes and Stephen Gould},
journal= {arXiv preprint arXiv:2011.13055},
year = {2021}
}