SPARK：自监督个性化实时单目面部捕捉

前馈单目面部捕捉方法旨在从单张人物图像重建姿态化的面部。当前最先进的方法能够利用大规模人脸图像数据集，在各种身份、光照条件和姿态下实时回归参数化3D面部模型。然而，这些方法存在明显的局限性，即底层参数化面部模型仅提供面部形状的粗略估计，从而限制了其在需要精确3D重建的任务（老化、换脸、数字化妆等）中的实际适用性。在本文中，我们提出了一种高精度3D面部捕捉方法，利用主体的无约束视频集合作为先验信息。我们的方案建立在两阶段方法之上。我们首先从视频集合中重建该人物详细的3D面部化身，捕捉精确的几何形状与外观。然后，我们使用预训练单目面部重建方法的编码器，将其解码器替换为我们的个性化模型，并在该视频集合上进行迁移学习。利用我们预先估计的图像形成模型，我们获得了更精确的自监督目标，从而改善了表情与姿态的对齐。这产生了一个训练好的编码器，能够从未见过的图像中实时高效地回归姿态和表情参数，结合我们的个性化几何模型，可产生更准确且高保真的网格推断。通过广泛的定性和定量评估，我们展示了最终模型相较于最先进基线的优越性，并证明了其对未见姿态、表情和光照的泛化能力。