FitDiff：利用扩散模型实现鲁棒的单目三维面部形状和反射率估计
计算机视觉与模式识别
2025-03-04 v3
摘要
三维面部重建的显著进展已催生出高细节和照片级真实感的面部表示。最近，扩散模型通过超越GAN的性能，彻底改变了生成方法的能力。在这项工作中，我们提出了FitDiff，一个基于扩散的三维面部化身生成模型。利用扩散原理，我们的模型利用从“自然场景”二维面部图像中提取的身份嵌入，准确地生成可重光照的面部化身。所引入的多模态扩散模型是首个同时输出面部反射率图（漫反射和镜面反射率及法线）和形状的模型，展示了强大的泛化能力。它仅在一个公开面部数据集的带注释子集上训练，并与三维重建配对。我们通过使用感知和面部识别损失引导逆向扩散过程，重新审视了典型的三维面部拟合方法。作为首个以面部识别嵌入为条件的3D LDM，FitDiff仅从一张无约束的面部图像开始，就能重建出可直接用于常见渲染引擎的可重光照人类化身，并实现了最先进的性能。
引用
@article{arxiv.2312.04465,
title = {FitDiff: Robust monocular 3D facial shape and reflectance estimation using Diffusion Models},
author = {Stathis Galanakis and Alexandros Lattas and Stylianos Moschoglou and Stefanos Zafeiriou},
journal= {arXiv preprint arXiv:2312.04465},
year = {2025}
}