通过迭代密集 UV 到图像流的 2D 视频三维人脸跟踪

在处理三维人脸数据时，提高保真度并避免恐怖谷效应严重依赖于准确的三维面部表情捕捉。由于此类方法成本高昂，且二维视频广泛存在，近期的方法侧重于如何进行单目三维人脸跟踪。然而，由于网络架构、训练和评估过程的局限性，这些方法在捕捉精确面部运动方面往往存在不足。针对这些挑战，我们提出了一种新颖的人脸跟踪器 FlowFace，它引入了一个创新的二维对齐网络以实现密集的逐顶点对齐。与以往工作不同，FlowFace 在高质量三维扫描标注上进行训练，而非使用弱监督或合成数据。我们的三维模型拟合模块从单次或多次观测中联合拟合三维人脸模型，集成了现有的中性形状先验以增强身份与表情的解耦，并采用逐顶点形变以实现精细面部特征重建。此外，我们提出了一种新颖的度量和基准来评估跟踪精度。我们的方法在自定义和公开基准上均展现出卓越性能。我们进一步通过从二维视频生成高质量三维数据来验证跟踪器的有效性，这在下游任务中带来了性能提升。