通过纹理量化实现高保真面部反照率估计
计算机视觉与模式识别
2024-06-21 v1
摘要
最近的3D人脸重建方法在形状估计方面取得了显著进展，但高保真面部反照率重建仍然具有挑战性。现有方法依赖于昂贵的光照阶段捕获数据来学习面部反照率图。然而，受试者多样性的缺乏限制了它们恢复高保真结果的能力。在本文中，我们提出了一种新颖的面部反照率重建模型 HiFiAlbedo，该模型直接从单张图像恢复反照率图，无需捕获的反照率数据。我们的关键见解是，反照率图是光照不变的纹理图，这使我们能够使用廉价的纹理数据通过消除光照来推导反照率估计。为实现这一点，我们首先收集大规模超高分辨率面部图像，并训练一个高保真面部纹理码本。通过使用 FFHQ 数据集和有限的 UV 纹理，我们随后微调编码器，以在图像和 UV 空间中通过对抗性监督从输入图像重建纹理。最后，我们训练一个交叉注意力模块，并利用组身份损失来学习从面部纹理到反照率域的适应。大量实验表明，我们的方法表现出优异的泛化能力，并且能够为野外面部反照率恢复实现高保真结果。我们的代码、预训练权重和训练数据将在 https://hifialbedo.github.io/ 公开提供。
引用
@article{arxiv.2406.13149,
title = {High-Fidelity Facial Albedo Estimation via Texture Quantization},
author = {Zimin Ran and Xingyu Ren and Xiang An and Kaicheng Yang and Xiangzi Dai and Ziyong Feng and Jia Guo and Linchao Zhu and Jiankang Deng},
journal= {arXiv preprint arXiv:2406.13149},
year = {2024}
}