AE-OT-GAN：从数据特定的潜分布训练 GAN
计算机视觉与模式识别
2020-01-28 v2 图像与视频处理
摘要
尽管生成对抗网络（GANs）是生成逼真且清晰图像的杰出模型，但它们经常遭遇模式崩溃问题且难以训练，这源于用连续深度神经网络逼近内在不连续的分布变换映射。近期提出的 AE-OT 模型通过在自编码器的潜空间中求解半离散最优传输（OT）映射来显式计算不连续分布变换映射，从而解决了该问题。然而其生成的图像是模糊的。本文中，我们提出 AE-OT-GAN 模型以结合两种模型的优势：生成高质量图像，同时克服模式崩溃/混合问题。具体而言，我们首先通过训练自编码器（AE）将低维图像流形忠实嵌入潜空间。随后我们计算最优传输（OT）映射，将均匀分布推前至支撑于潜流形上的潜分布。最后，我们的 GAN 模型被训练为从该潜分布生成高质量图像，从该潜分布到经验数据分布的分布变换映射将是连续的。潜码与真实图像之间的配对数据为我们提供了关于生成器的进一步约束。在简单 MNIST 数据集以及 Cifar-10 和 CelebA 等复杂数据集上的实验表明了我们所提方法的有效性与高效性。
引用
@article{arxiv.2001.03698,
title = {AE-OT-GAN: Training GANs from data specific latent distribution},
author = {Dongsheng An and Yang Guo and Min Zhang and Xin Qi and Na Lei and Shing-Tung Yau and Xianfeng Gu},
journal= {arXiv preprint arXiv:2001.03698},
year = {2020}
}