从野外图像中学习可动画的精细 3D 人脸模型
计算机视觉与模式识别
2021-06-03 v2
摘要
尽管当前的单目 3D 人脸重建方法能够恢复精细的几何细节，但它们存在若干局限。一些方法生成的人脸无法真实动画化，因为它们没有建模皱纹如何随表情变化。其他方法在高品质人脸扫描上训练，不能很好地泛化到野外图像。我们提出首个回归 3D 人脸形状以及属于个体特定但随表情变化的、可动画细节的方法。我们的模型 DECA（精细表情捕捉与动画，Detailed Expression Capture and Animation）被训练为从由人物特定细节参数和通用表情参数组成的低维潜在表示中稳健地生成 UV 位移图，同时训练一个回归器从单张图像预测细节、形状、反照率、表情、姿态和光照参数。为此，我们引入一种新颖的细节一致性损失，将人物特定细节与依赖于表情的皱纹解耦。这种解耦使我们能够通过控制表情参数并保持人物特定细节不变来合成真实的人物特定皱纹。DECA 从野外图像中学习，无需配对 3D 监督，并在两个基准上达到最先进的形状重建精度。在野外数据上的定性结果展示了 DECA 的鲁棒性及其解耦身份相关与表情相关细节从而实现重建人脸动画化的能力。模型和代码公开于 https://deca.is.tue.mpg.de。
引用
@article{arxiv.2012.04012,
title = {Learning an Animatable Detailed 3D Face Model from In-The-Wild Images},
author = {Yao Feng and Haiwen Feng and Michael J. Black and Timo Bolkart},
journal= {arXiv preprint arXiv:2012.04012},
year = {2021}
}
备注
SIGGRAPH 2021