VGG-Tex：用于高保真单目 3D 人脸重建的几何引导 facial texture 估计模型
计算机视觉与模式识别
2024-09-18 v2
摘要
单目图像的人脸 3D 重建推动了各类应用的发展，如增强现实。尽管已有方法取得了显著进展，但大多数方法侧重几何重建，忽视了纹理预测的重要性。为此，我们提出了 VGG-Tex，一种新的 Vivid Geometry-Guided Facial Texture Estimation 模型，用于高保真单目 3D 人脸重建。该方法的核心是利用 3D 参数化先验来增强 2D UV 纹理估计的结果。具体而言，VGG-Tex 包括面部属性编码模块、几何引导纹理生成器和可见性增强纹理完成模块，分别负责提取参数化先验、生成初始纹理和细化纹理细节。基于几何-纹理互补原理，VGG-Tex 还引入纹理引导几何细化模块，以进一步平衡重建 3D 人脸的整体保真度，并设计相应的损失函数。广泛实验表明，我们的方法在纹理重建性能上显著优于现有最先进的方法。
引用
@article{arxiv.2409.09740,
title = {VGG-Tex: A Vivid Geometry-Guided Facial Texture Estimation Model for High Fidelity Monocular 3D Face Reconstruction},
author = {Haoyu Wu and Ziqiao Peng and Xukun Zhou and Yunfei Cheng and Jun He and Hongyan Liu and Zhaoxin Fan},
journal= {arXiv preprint arXiv:2409.09740},
year = {2024}
}