让你的简笔触真实且立体：面向 3D 感知的简化草图到肖像生成
计算机视觉与模式识别
2023-10-03 v2
摘要
创作人物草图肖像的照片级真实版本对各种娱乐用途十分有用。现有研究仅在固定视角的 2D 平面上生成肖像，使结果不够生动。本文中，我们提出立体简化草图到肖像（SSSP），通过引入 3D 生成模型，探索从简单轮廓草图创建立体 3D 感知肖像的可能性。我们的核心见解是设计草图感知约束，以充分利用基于三平面的 3D 感知生成模型的先验知识。具体而言，我们设计的区域感知体渲染策略和全局一致性约束进一步增强了草图编码过程中的细节对应。此外，为方便普通用户使用，我们提出带有向量量化表示的轮廓到草图模块，使易于绘制的轮廓可直接引导 3D 肖像的生成。大量对比表明我们的方法生成了与草图匹配的高质量结果。我们的可用性研究证实我们的系统深受用户青睐。
引用
@article{arxiv.2302.06857,
title = {Make Your Brief Stroke Real and Stereoscopic: 3D-Aware Simplified Sketch to Portrait Generation},
author = {Yasheng Sun and Qianyi Wu and Hang Zhou and Kaisiyuan Wang and Tianshu Hu and Chen-Chieh Liao and Shio Miyafuji and Ziwei Liu and Hideki Koike},
journal= {arXiv preprint arXiv:2302.06857},
year = {2023}
}
备注
Project Page on https://hangz-nju-cuhk.github.io/projects/SSSP, Video Url: https://youtu.be/GiOKbvr2U_E