用于 3D 人脸纹理建模的光源解耦学习
计算机视觉与模式识别
2024-12-12 v1
摘要
现有研究在重建受良好照明且外部遮挡较少的图像中的人脸形状和纹理方面取得了显著进展。然而，在光照复杂且受外部遮挡（例如帽子遮挡的脸部）的场景下恢复准确的脸纹仍具有挑战性。基于单一均匀照明假设的现有方法无法正确处理此类数据。在本工作中，我们提出了一种新方法，用于处理此类不自然照明下的 3D 人脸纹理建模。我们的框架不假设单一照明，而是学习将不自然照明模拟为由多个分离光条件与学习到的神经表示组合而成的光源解耦。根据单张图像和视频序列上的实验，我们展示了该方法在遮挡影响的复杂照明下建模脸纹的有效性。请访问 https://tianxinhuang.github.io/projects/Deface 查看我们的视频和代码。
引用
@article{arxiv.2412.08524,
title = {Learning to Decouple the Lights for 3D Face Texture Modeling},
author = {Tianxin Huang and Zhenyu Zhang and Ying Tai and Gim Hee Lee},
journal= {arXiv preprint arXiv:2412.08524},
year = {2024}
}
备注
Accepted by NeurIPS 2024