精细三维人脸重建的自监督学习
计算机视觉与模式识别
2020-09-03 v2
摘要
本文提出一种从单幅图像进行精细三维人脸重建的端到端学习框架。我们的方法使用基于 3DMM 的粗模型与 UV 空间中的位移图来表示三维人脸。与以往解决该问题的工作不同，我们的学习框架不需要传统方法计算的替代真值三维模型作为监督。相反，我们在学习过程中利用输入图像本身作为监督。在第一阶段，我们结合输入人脸与渲染人脸之间的光度损失和人脸感知损失，回归一个基于 3DMM 的粗模型。在第二阶段，将输入图像与粗模型回归得到的纹理都展开到 UV 空间，然后送入图像到图像翻译网络以预测 UV 空间中的位移图。该位移图与粗模型用于渲染最终精细人脸，其可再次与原始输入图像比较，作为第二阶段的photometric损失。在 UV 空间学习位移图的优点在于展开过程中可显式完成人脸对齐，从而更易从大量数据中学习人脸细节。大量实验证明了所提方法相对于先前工作的优越性。
引用
@article{arxiv.1910.11791,
title = {Self-supervised Learning of Detailed 3D Face Reconstruction},
author = {Yajing Chen and Fanzi Wu and Zeyu Wang and Yibing Song and Yonggen Ling and Linchao Bao},
journal= {arXiv preprint arXiv:1910.11791},
year = {2020}
}
备注
Accepted by IEEE Transactions on Image Processing (TIP)