基于条件风格码扩散的可控 3D 人脸生成
计算机视觉与模式识别
2024-01-12 v2
摘要
根据给定条件生成照片级真实感的 3D 人脸是一项具有挑战性的任务。现有方法通常依赖于耗时的逐个优化方法，这对于建模相同分布的内容（例如人脸）效率不高。此外，理想的可控 3D 人脸生成模型应同时考虑面部属性和表情。因此，我们提出了一种名为 TEx-Face 的新方法，通过将该任务分为三个组件来解决这些挑战，即 3D GAN Inversion、Conditional Style Code Diffusion 和 3D Face Decoding。对于 3D GAN inversion，我们引入了两种方法，旨在增强风格码的表示并缓解 3D 不一致性问题。此外，我们设计了一个风格码去噪器，将多个条件纳入风格码中，并提出了一种数据增强策略来解决视觉-语言配对数据不足的问题。在 FFHQ、CelebA-HQ 和 CelebA-Dialog 上进行的大量实验证明了我们的 TEx-Face 在实现照片级真实感 3D 人脸的高效可控生成方面的优异性能。代码将在 https://github.com/sxl142/TEx-Face 上提供。
关键词
引用
@article{arxiv.2312.13941,
title = {Controllable 3D Face Generation with Conditional Style Code Diffusion},
author = {Xiaolong Shen and Jianxin Ma and Chang Zhou and Zongxin Yang},
journal= {arXiv preprint arXiv:2312.13941},
year = {2024}
}
备注
Accepted by AAAI 2024