描绘那幅草图：从抽象草图生成逼真图像

给定一幅来自未经训练的业余者（如你和我）的抽象、变形、普通的草图，本文将其转化为一幅逼真图像——正如图 1(a) 中所示的所有未经挑选的结果。我们与先前工作的显著区别在于：我们并非一开始就规定一幅类边缘图的草图，而是致力于处理抽象的自由手绘人类草图。如此一来，我们实质上使草图到照片的生成流程得以普及，无论你画得如何，都能“描绘”一幅草图。我们起初的贡献是一种解耦的编码器-解码器训练范式，其中解码器是在仅含照片上训练的 StyleGAN。这重要地确保了生成结果始终逼真。其余工作则围绕如何最好地处理草图与照片之间的抽象鸿沟展开。为此，我们提出了一种在草图-照片对上训练的自回归草图映射器，将草图映射到 StyleGAN 潜空间。我们进一步引入特定设计以应对人类草图的抽象特性，包括基于训练好的草图-照片检索模型的细粒度判别损失，以及部分感知的草图增强策略。最后，我们展示了我们的生成模型所赋能的几个下游任务，其中之一是说明细粒度基于草图的图像检索（草图界一个被充分研究的问题）如何被归约为图像（生成的）到图像检索任务，超越当前最优（SOTA）。我们在补充材料中给出生成结果供所有人审视。