无约束图像中密集人脸对应的学习

我们提出一个极简但有效的神经网络，用于在高度无约束的RGB图像中计算密集人脸对应。我们的网络学习一个人2D输入照片与带纹理的三维人脸模型投影之间的逐像素流和匹配性掩码。为训练该网络，我们使用可变形人脸模型的渲染图（具有姿态、表情、光照和遮挡变化）生成带有密集标签的大规模合成人脸数据集。我们发现需要使用真实照片进行训练细化以大幅提升处理真实图像的能力。当与人脸检测和三维人脸拟合步骤结合时，我们表明我们的方法在准确率和速度上优于最先进的面部对齐方法。通过直接估计密集对应，我们不依赖于稀疏面部关键点的完全可见性，也不限于基于回归方法的模型空间。我们还在视频帧上评估了我们的方法，并展示了在极端姿态变化、遮挡和光照条件下的成功逐帧处理。与现有三维面部跟踪技术相比，我们的拟合不依赖于前一帧或正面人脸初始化，并且对不完美的人脸检测具有鲁棒性。