MEGAN:用于多模态图像生成的生成对抗网络混合专家模型
计算机视觉与模式识别
2018-05-09 v2
摘要
近来,生成对抗网络(GANs)在生成逼真图像方面展现出有前景的性能。然而,它们常难以学习给定数据集中复杂的底层模态,导致生成图像质量不佳。为缓解此问题,我们提出一种称为混合专家 GAN(MEGAN)的新方法,即多个生成器网络的集成方法。MEGAN 中的每个生成器网络专用于生成具有特定模态子集(例如一个图像类别)的图像。我们的模型不引入手工聚类多模态的单独步骤,而是通过门控网络对多个生成器进行端到端学习训练,门控网络负责为给定条件选择合适的生成器网络。我们采用类别重参数化技巧以在选取生成器时作出类别决策,同时保持梯度流动。我们证明各个生成器学习了数据中不同且显著的部分,并在 CelebA 上取得 0.2470 的多尺度结构相似性(MS-SSIM)分数,在 CIFAR-10 中取得 8.33 的有竞争力的无监督 inception 分数。
引用
@article{arxiv.1805.02481,
title = {MEGAN: Mixture of Experts of Generative Adversarial Networks for Multimodal Image Generation},
author = {David Keetae Park and Seungjoo Yoo and Hyojin Bahng and Jaegul Choo and Noseong Park},
journal= {arXiv preprint arXiv:1805.02481},
year = {2018}
}
备注
27th International Joint Conference on Artificial Intelligence (IJCAI 2018)