语义感知的多视角肖像画生成
计算机视觉与模式识别
2023-05-05 v1 图形学
摘要
基于神经辐射场（NeRF）的方法在合成三维一致照片图像方面表现出惊人性能，却无法生成多视角肖像画。关键在于这些方法的基本假设——表面点在从不同视角渲染时保持一致——对绘画不成立。在肖像画中，面部点外观可能随视角变化。此外，肖像画通常呈现极少三维信息且受训练数据不足困扰。为应对此挑战，本文提出语义感知生成器（SAGE）用于合成多视角肖像画。我们的动机是：面部语义标签是视角一致的且与绘画技法相关。因此我们提出协同合成多视角语义图及相应肖像画。为便利训练，我们设计语义感知域翻译器，基于照片人脸特征生成肖像画。另外，通过合成进行数据增强以缓解崩溃结果。我们应用 SAGE 合成多种艺术风格的多视角肖像画。实验结果表明，与现有三维感知图像合成方法相比，SAGE 取得了显著更优或极具竞争力的性能。代码见 https://github.com/AiArt-HDU/SAGE。
引用
@article{arxiv.2305.02618,
title = {Semantic-aware Generation of Multi-view Portrait Drawings},
author = {Biao Ma and Fei Gao and Chang Jiang and Nannan Wang and Gang Xu},
journal= {arXiv preprint arXiv:2305.02618},
year = {2023}
}
备注
Accepted by IJCAI 2023