FaceCraft4D：基于单张图像生成带动画的 3D 脸部头像
计算机视觉与模式识别
2025-04-22 v1
摘要
我们提出了一个用于从单张图像生成高质量、可动画化 4D 头像的新型框架。虽然近期研究在 4D 头像生成方面取得了令人鼓舞的成果，但现有方法要么需要大量的多视角数据，要么在形状精度和身份一致性方面存在困难。为此，我们提出了一个综合性系统，利用形状、图像和视频先验信息，创建全视角、可动画化的头像。我们的 approach 首先通过 3D-GAN 反卷积获得初始粗糙形状。然后，借助图像扩散模型和深度引导的错位信号，对多视角纹理进行增强，以实现跨视角一致性。为处理表情动画，我们引入了带有同步驱动信号的视频先验。我们进一步引入 Consistent-Inconsistent 训练，以有效处理 4D 重建期间的数据不一致性。实验结果表明，我们的方法在质量上优于先前工作，同时在不同视角和表情下保持一致性。
引用
@article{arxiv.2504.15179,
title = {FaceCraft4D: Animated 3D Facial Avatar Generation from a Single Image},
author = {Fei Yin and Mallikarjun B R and Chun-Han Yao and Rafał Mantiuk and Varun Jampani},
journal= {arXiv preprint arXiv:2504.15179},
year = {2025}
}