DrawingInStyles:基于空间条件化 StyleGAN 的人像图像生成与编辑
图形学
2022-06-01 v3 计算机视觉与模式识别
摘要
草图到肖像生成这一研究课题随着深度学习技术取得了显著进展。近期提出的 StyleGAN 架构实现了最先进的生成能力,但原始 StyleGAN 由于其无条件生成特性,对基于草图的创作并不友好。为解决此问题,我们提出了一种直接条件化策略,以在 StyleGAN 框架下更好地保留空间信息。具体而言,我们引入了空间条件化 StyleGAN(简称 SC-StyleGAN),其将空间约束显式注入原始 StyleGAN 的生成过程。我们探索了草图和语义图两种输入模态,它们共同使用户能够更精确、更轻松地表达期望的生成结果。基于 SC-StyleGAN,我们提出了 DrawingInStyles,这是一种新颖的绘图界面,供非专业用户轻松生成高质量、照片级真实的人脸图像,并实现精确控制,既可从零开始也可编辑现有图像。定性与定量评估表明,我们的方法相对于现有及替代方案具有更优的生成能力。一项用户研究证实了系统的可用性与表现力。
引用
@article{arxiv.2203.02762,
title = {DrawingInStyles: Portrait Image Generation and Editing with Spatially Conditioned StyleGAN},
author = {Wanchao Su and Hui Ye and Shu-Yu Chen and Lin Gao and Hongbo Fu},
journal= {arXiv preprint arXiv:2203.02762},
year = {2022}
}
备注
15 pages, 14 figures