无监督场景草图到照片合成
计算机视觉与模式识别
2022-09-08 v1
摘要
草图是一种直观而有力的视觉表达,因为它们是快速绘制的徒手画。我们提出了一种从场景草图合成逼真照片的方法。我们的框架无需草图与照片配对,而是以无监督方式直接从现成的大规模照片数据集中学习。为此,我们引入了一个标准化模块,通过将照片和草图转换到标准化域(即边缘图)来在训练期间提供伪草图-照片对。草图与照片之间缩小的域差距也使我们能将它们解耦为两个组成部分:整体场景结构与低级视觉风格(如颜色和纹理)。利用这一优势,我们通过结合草图的结构与参考照片的视觉风格来合成照片级真实感图像。在感知相似性指标和人类感知研究上的大量实验结果表明,所提方法能从场景草图生成高保真度的逼真照片,并优于最先进的照片合成基线。我们还证明,我们的框架通过编辑相应草图的笔触来实现照片合成的可控操控,比以往依赖区域级编辑的方法提供更细粒度的细节。
引用
@article{arxiv.2209.02834,
title = {Unsupervised Scene Sketch to Photo Synthesis},
author = {Jiayun Wang and Sangryul Jeon and Stella X. Yu and Xi Zhang and Himanshu Arora and Yu Lou},
journal= {arXiv preprint arXiv:2209.02834},
year = {2022}
}