基于遮挡感知多视角几何一致性的自监督单目三维人脸重建
计算机视觉与模式识别
2020-07-27 v1
摘要
近期基于学习的方法，其模型通过单视图图像进行训练，在单目三维人脸重建中展现了有希望的结果，但它们受到不适定的人脸姿态和深度歧义问题的困扰。与以往仅强制二维特征约束的工作不同，我们提出了一种利用多视角几何一致性的自监督训练架构，为人脸姿态和深度估计提供了可靠的约束。我们首先提出了一种遮挡感知的视图合成方法，以将多视角几何一致性应用于自监督学习。然后，我们为多视角一致性设计了三种新颖的损失函数，包括像素一致性损失、深度一致性损失和基于面部标志的对极损失。我们的方法准确且鲁棒，尤其是在表情、姿态和光照条件变化较大的情况下。在人脸对齐和三维人脸重建基准上的综合实验证明了其优于最先进方法的性能。我们的代码和模型已在 https://github.com/jiaxiangshang/MGCNet 发布。
引用
@article{arxiv.2007.12494,
title = {Self-Supervised Monocular 3D Face Reconstruction by Occlusion-Aware Multi-view Geometry Consistency},
author = {Jiaxiang Shang and Tianwei Shen and Shiwei Li and Lei Zhou and Mingmin Zhen and Tian Fang and Long Quan},
journal= {arXiv preprint arXiv:2007.12494},
year = {2020}
}
备注
Accepted to ECCV 2020, supplementary materials included