中文

基于组合生成先验的自由风格三维感知肖像合成

计算机视觉与模式识别 2023-12-27 v3

摘要

高效生成具有高质量与三维一致性的自由风格三维肖像是一项前景广阔却极具挑战的任务。大多数现有方法生成的肖像风格通常受其于特定人脸数据集(如 FFHQ)上学习的 3D 生成器所限制。为获得多样化三维肖像,可构建大规模多风格数据库重新训练三维感知生成器,或使用现成工具进行风格迁移。然而,前者因数据收集与训练过程而耗时,后者可能破坏多视角一致性。为应对该问题,我们提出一种新颖的文本驱动三维感知肖像合成框架,可生成分布外肖像风格。具体而言,对于给定的肖像风格提示,我们首先组合两个生成先验——一个三维感知 GAN 生成器与一个文本引导图像编辑器——以快速构建少样本风格化肖像集。随后我们将该集合的特殊风格域映射到我们所提的三维潜特征生成器,并获得含给定风格信息的三维表示。最后我们使用预训练的三维渲染器从该三维表示生成视角一致的风格化肖像。大量实验结果表明,我们的方法能够在几分钟内合成指定风格的高质量三维肖像,优于当前最优方法。

关键词

引用

@article{arxiv.2306.15419,
  title  = {Freestyle 3D-Aware Portrait Synthesis Based on Compositional Generative Priors},
  author = {Tianxiang Ma and Kang Zhao and Jianxin Sun and Yingya Zhang and Jing Dong},
  journal= {arXiv preprint arXiv:2306.15419},
  year   = {2023}
}

备注

project website: https://tianxiangma.github.io/FF3D