用于超过250 Hz单目重建的自监督多级人脸模型学习
计算机视觉与模式识别
2018-04-02 v2
摘要
从单幅图像重建密集的面部几何与外观三维模型极具挑战且为病态问题。为约束该问题，许多方法依赖强先验，例如从有限三维扫描数据学习的参数化人脸模型。然而，先验模型限制了对面部几何、皮肤反射率和光照真实多样性的泛化。为缓解此问题，我们提出首个联合学习 1）基于 2）同步学习的参数化人脸模型的面部形状、表情、反射率和光照回归器的方法。我们的多级人脸模型结合了三维可变形模型（3D Morphable Models）的正则化优势与学习到的校正空间的域外泛化能力。我们通过在无密集标注的野生图像上端到端训练，将卷积编码器与可微分的专家设计渲染器及定义在多个细节层级上的自监督训练损失相融合。我们的方法在重建质量上优于最先进技术，能更好地泛化至真实人脸，并以超过 250 Hz 运行。
引用
@article{arxiv.1712.02859,
title = {Self-supervised Multi-level Face Model Learning for Monocular Reconstruction at over 250 Hz},
author = {Ayush Tewari and Michael Zollhöfer and Pablo Garrido and Florian Bernard and Hyeongwoo Kim and Patrick Pérez and Christian Theobalt},
journal= {arXiv preprint arXiv:1712.02859},
year = {2018}
}
备注
CVPR 2018 (Oral). Project webpage: https://gvv.mpi-inf.mpg.de/projects/FML/