自监督草图到图像合成

从任意绘制的草图想象出彩色真实图像是人类具备而我们渴望机器模仿的能力之一。不同于以往需要草图-图像对或利用低质量检测边缘作为草图的方法，我们以自监督学习方式研究基于范例的草图到图像（s2i）合成任务，消除了对配对草图数据的需求。为此，我们首先提出一种无监督方法，为通用仅 RGB 数据集高效合成线描草图。利用合成配对数据，我们随后提出一种自监督自编码器（AE）以从草图和 RGB 图像中解耦内容/风格特征，并合成既内容忠实于草图又风格一致于 RGB 图像的图像。先前工作采用循环一致性损失或专用注意力模块来强制内容/风格保真，我们则展示了 AE 在纯自监督下的优越性能。为进一步提升高分辨率下的合成质量，我们还利用对抗网络细化合成图像的细节。在 1024*1024 分辨率上的大量实验证明了所提模型在 CelebA-HQ 和 Wiki-Art 数据集上达到新的最先进性能。此外，借助所提草图生成器，该模型在风格混合与风格迁移上展现出有前景的性能，这要求合成图像既风格一致又语义有意义。我们的代码发布于 https://github.com/odegeasslbc/Self-Supervised-Sketch-to-Image-Synthesis-PyTorch，并请访问 https://create.playform.io/my-projects?mode=sketch 查看我们模型的在线演示。