无监督草图到照片合成

人类能够根据自由手绘草图构想出逼真照片，此类草图不仅空间不精确、几何失真，而且缺乏色彩与视觉细节。我们首次研究无监督草图到照片合成，从非配对草图-照片数据中学习，其中训练时草图对应的目标照片未知。现有工作仅单独处理风格改变或空间形变，从边缘对齐的线稿合成照片或在同模态内变换形状（例如彩色图像）。我们的核心见解是将无监督草图到照片合成分解为两阶段翻译任务：首先从草图到灰度照片的形状翻译，然后从灰度到彩色照片的内容丰富化。我们还引入自监督去噪目标和注意力模块，以处理草图固有且特有的抽象性与风格变化。我们的合成忠实于草图且具照片级真实感，可在实践中实现基于草图的图像检索。一个令人振奋的衍生成果是一种通用且有前景的草图生成器，其捕捉了超越照片边缘图的人类视觉感知。