受生成面部解析图指导的遮挡场景下3D人脸重建
计算机视觉与模式识别
2024-12-30 v1
摘要
过去几年中，单视图3D人脸重建方法能够生成精美的3D模型，但这些方法的输入均为无遮挡的人脸。我们描述了一个用于处理遮挡场景下人脸纹理重建的系统。基于解析人脸特征，我们提出一种受 landmarks 指导的完整面部解析图生成方法。我们估计遮挡区域的合理位置的2D人脸结构，用于构建3D纹理。优秀的遮挡人脸重建方法应确保输出的真实性，包括眼睛、鼻子和嘴巴之间的拓扑结构。我们对该方法及其组件进行了广泛测试，通过定性分析展示了估计人脸结构的合理性。我们在一般3D人脸重建任务上进行了大量实验，以具体示例说明该方法在现有方法常常失效的情况下的优异鲁棒性。进一步，我们提供了大量定量示例，表明该方法在遮挡场景下的3D人脸重建质量和鲁棒性均得到显著提升。
关键词
引用
@article{arxiv.2412.18920,
title = {Generative Face Parsing Map Guided 3D Face Reconstruction Under Occluded Scenes},
author = {Dapeng Zhao and Yue Qi},
journal= {arXiv preprint arXiv:2412.18920},
year = {2024}
}