基于上下文 GAN 的草图约束图像生成
计算机视觉与模式识别
2018-07-27 v2
摘要
本文研究由手绘草图引导的图像生成。当输入草图绘制粗糙时，常见图像到图像翻译的输出会因翻译过程施加的硬条件而遵循输入边缘。相反，我们提出将草图用作弱约束，其中输出边缘不必遵循输入边缘。我们利用一种新颖的联合图像补全方法来解决该问题，其中草图提供用于补全或生成输出图像的图像上下文。我们训练一个生成对抗网络，即上下文 GAN（contextual GAN），通过使用联合图像来学习草图与相应图像的联合分布。我们的上下文 GAN 具有若干优势。首先，简单的联合图像表示允许在同一图像-草图空间中简单有效地学习联合分布，避免了跨域学习中的复杂问题。其次，虽然输出与其输入整体相关，但生成的特征在外观上表现出更多自由，并不像先前条件 GAN 那样严格与输入特征对齐。第三，从联合图像的角度看，图像与草图并无区别，因此完全相同的深度联合图像补全网络可用于图像到草图生成。在三个不同数据集上的实验表明，我们的上下文 GAN 在困难输入上能比最先进的条件 GAN 生成更真实的图像，并在常见类别上泛化良好。
引用
@article{arxiv.1711.08972,
title = {Image Generation from Sketch Constraint Using Contextual GAN},
author = {Yongyi Lu and Shangzhe Wu and Yu-Wing Tai and Chi-Keung Tang},
journal= {arXiv preprint arXiv:1711.08972},
year = {2018}
}
备注
ECCV 2018