基于条件 GAN 的高分辨率图像合成与语义操控

我们提出一种利用条件生成对抗网络（conditional GANs）从语义标签图合成高分辨率照片级真实感图像的新方法。条件 GAN 已支持多种应用，但结果常局限于低分辨率且仍远不真实。本工作中，我们利用一种新颖的对抗损失以及新的多尺度生成器和判别器架构，生成了 2048x1024 视觉上引人入胜的结果。此外，我们将框架扩展为具有两个额外特征的交互式视觉操控。首先，我们引入物体实例分割信息，从而实现移除/添加物体及改变物体类别等操控。其次，我们提出一种给定相同输入生成多样结果的方法，允许用户交互式编辑物体外观。人类意见研究表明，我们的方法显著优于现有方法，推进了深度图像合成与编辑的质量和分辨率。