用于改进人脸重建与运动重定向的个性化人脸建模

传统的基于图像的三维人脸重建与面部运动重定向方法将三维可变形模型（3DMM）拟合到人脸，其建模能力有限且难以很好地泛化到野外部署数据。使用形变传递或多线性张量作为个性化 3DMM 进行混合形状插值，并未解决面部表情在不同人身上导致不同局部与全局皮肤形变这一事实。此外，现有方法为每个用户学习单一反照率，不足以捕捉表情特定的皮肤反射率变化。我们提出了一种端到端框架，从大量用户表情的野外视频语料中，联合学习每个用户的个性化人脸模型与每帧面部运动参数。具体而言，我们通过在 3DMM 先验之上预测个性化修正，来学习用户特定的表情混合形状与动态（表情特定的）反照率图。我们引入了新的约束以确保修正后的混合形状保留其语义含义，且重建几何与反照率解耦。实验结果表明，我们的个性化方法在广泛条件下准确捕捉细粒度面部动态，并高效地将所学人脸模型与面部运动解耦，从而相比最先进的方法实现了更准确的人脸重建与面部运动重定向。