远距离深度场景中鲁棒的表演驱动三维人脸跟踪

我们提出了一种新颖的鲁棒混合三维人脸跟踪框架，基于 RGBD 视频流，能够在无需预标定或用户干预的情况下跟踪头部姿态和面部动作。我们特别强调在跟踪对象距离相机较远、点云质量严重下降的情况下提升跟踪性能。这通过结合灵活的三维形状回归器与形状参数上的联合 2D+3D 优化来实现。我们的方法将面部 blendshape 拟合到人体头部的点云上，同时由一个在通用 RGB 数据集上训练的高效快速三维形状回归器驱动。作为一个在线跟踪系统，未知用户的身份会在运行中自适应调整，从而改善三维模型重建，进而获得更好的跟踪性能。最终成果是一个鲁棒的 RGBD 人脸跟踪器，能够处理远超传统深度或 RGB 人脸跟踪器所能应对的广泛目标场景深度范围。最后，由于 blendshape 无法精确恢复真实面部形状，我们将跟踪得到的三维人脸模型作为先验，用于一种新颖的滤波过程，以进一步细化深度图，供三维重建等其他任务使用。