通过渐进式潜在空间优化的文本驱动多样化人脸纹理生成
计算机视觉与模式识别
2024-04-16 v1
摘要
自动 3D 人脸纹理生成近期引起了广泛关注。现有方法可能不支持传统的基于物理的渲染管线，或依赖于 Light Stage 捕获的 3D 数据。我们的核心贡献是一种渐进式潜在空间优化方法，该方法能够基于由人脸图像生成的 3D 可变形模型（3DMMs）纹理图进行自举，以生成高质量且多样化的 PBR 纹理，包括反照率、法线和粗糙度。该方法首先通过增强生成对抗网络（GANs）来实现文本引导的多样化纹理生成。为此，我们设计了一种自监督范式，以克服对真实 3D 纹理的依赖，并仅使用纠缠的纹理图训练生成模型。此外，我们促进了 GANs 与 Score Distillation Sampling（SDS）之间的相互增强。SDS 为 GANs 提供了更多的生成模式，而 GANs 则促进了 SDS 的更高效优化。进一步地，我们引入了边缘感知的 SDS 以实现多视角一致的人脸结构。实验表明，我们的方法在照片级真实感质量、多样性和效率方面均优于现有的 3D 纹理生成方法。
引用
@article{arxiv.2404.09540,
title = {Text-Driven Diverse Facial Texture Generation via Progressive Latent-Space Refinement},
author = {Chi Wang and Junming Huang and Rong Zhang and Qi Wang and Haotian Yang and Haibin Huang and Chongyang Ma and Weiwei Xu},
journal= {arXiv preprint arXiv:2404.09540},
year = {2024}
}