利用姿态引导网络学习三维人脸重建
计算机视觉与模式识别
2020-10-12 v1 人工智能
摘要
我们提出一种自监督学习方法，利用姿态引导网络（PGN）学习单目三维人脸重建。首先，我们揭示了先前参数化三维人脸学习方法在姿态估计上的瓶颈，并提出利用三维人脸关键点估计姿态参数。借助我们专门设计的PGN，我们的模型既能从具有完全标注三维关键点的脸上学习，也能从无限的无标注野外人脸图像中学习。我们的网络进一步通过自监督学习方案增强，该方案利用同一人多帧中嵌入的人脸几何信息，以缓解从单张图像回归三维人脸几何的不适定本质。这三点洞见产生了一种单一方法，结合了参数化模型学习与数据驱动学习技术的互补优势。我们在具挑战性的AFLW2000-3D、Florence与FaceWarehouse数据集上进行了严格评估，表明我们的方法在所有指标上均优于最先进水平。
引用
@article{arxiv.2010.04384,
title = {Learning 3D Face Reconstruction with a Pose Guidance Network},
author = {Pengpeng Liu and Xintong Han and Michael Lyu and Irwin King and Jia Xu},
journal= {arXiv preprint arXiv:2010.04384},
year = {2020}
}
备注
ACCV 2020 (Oral)