单目身份条件面部反射率重建

近期的3D人脸重建方法取得了显著进展，但在单目高质量人脸反射率重建方面仍面临巨大挑战。现有方法依赖大量光照阶段捕获的数据来学习人脸反射率模型。然而，缺乏主体多样性会带来泛化性和广泛适用性的挑战。本文在图像空间而非UV空间学习反射率先验，提出了名为ID2Reflectance的框架。我们的框架能够直接从单张图像估计反射率图，并通过有限的反射率数据进行训练。我们的关键洞察是，反射率数据与RGB人脸共享面部结构，这使得我们能够从廉价的RGB数据中获取表情丰富的人脸先验，从而减少对反射率数据的依赖。我们首先学习人脸反射率的高质量先验。具体而言，我们预训练多域人脸特征词汇表，并设计词汇表融合方法以对齐反射率和RGB域。随后，我们提出了身份条件置换模块，将目标图像中的人脸身份注入预训练的自编码器，以修改源反射率图像的身份。最后，我们拼接多视角置换后的反射率图像以获得可渲染资产。广泛的实验表明，我们的方法表现出卓越的泛化能力，实现了野外人脸的招牌级人脸反射率重建。我们的项目页面为https://xingyuren.github.io/id2reflectance/。