中文

IntersectGAN:学习域交集以生成多属性图像

计算机视觉与模式识别 2019-10-04 v2

摘要

生成对抗网络(GANs)在生成各种视觉内容方面已展现出巨大成功。然而,现有GAN生成的图像通常具有从单一图像域学到的属性(例如微笑表情)。因此,生成具有多个属性的图像需要许多同时具备多种属性的真实样本,而收集这些样本成本极高。本文中,我们提出一种新颖的GAN,即IntersectGAN,通过一种交集架构从不同图像域学习多种属性。例如,给定两个具有特定属性的图像域 X1X_1X2X_2,交集 X1X2X_1 \cap X_2 表示一个新域,其中的图像同时拥有来自 X1X_1X2X_2 域的属性。所提出的IntersectGAN包含两个判别器 D1D_1D2D_2 以区分不同域的生成样本与真实样本,以及三个生成器,其中交集生成器针对两个判别器进行训练。并且,一个总体对抗损失函数定义于三个生成器之上。因此,我们提出的IntersectGAN可以在每个域呈现一种特定属性的多个域上进行训练,并最终消除对同时具备多种属性的真实样本图像的需求。通过使用CelebFaces Attributes数据集,我们提出的IntersectGAN能够生成具有多种属性的高质量人脸图像(例如,具有黑发和微笑表情的脸)。我们进行了定性与定量评估,将提出的IntersectGAN与其他基线方法进行比较。此外,我们还探索了IntersectGAN的若干不同应用,并取得了有前景的结果。

关键词

引用

@article{arxiv.1909.09767,
  title  = {IntersectGAN: Learning Domain Intersection for Generating Images with Multiple Attributes},
  author = {Zehui Yao and Boyan Zhang and Zhiyong Wang and Wanli Ouyang and Dong Xu and Dagan Feng},
  journal= {arXiv preprint arXiv:1909.09767},
  year   = {2019}
}