联合人脸对齐与三维人脸重建及其在人脸识别中的应用

传统上，人脸对齐与三维人脸重建作为分离的任务来完成。相反，通过探索二维关键点与三维形状之间的强相关性，我们提出了一种联合人脸对齐与三维人脸重建方法，以同时解决任意姿态和表情的二维人脸图像的这两个问题。该方法基于三维人脸的求和模型以及二维和三维形状空间中的级联回归，迭代且交替地应用两个级联回归器，一个用于更新二维关键点，另一个用于更新三维形状。三维形状与关键点通过三维到二维的映射矩阵相关联，该矩阵在每次迭代中更新以细化二维关键点的位置和可见性。与现有方法不同，所提出的方法能够全自动地生成姿态与表情归一化（PEN）的三维人脸和具有表情的三维人脸，并定位可见和不可见的二维关键点。基于 PEN 三维人脸，我们设计了一种方法来提高跨姿态和表情的人脸识别准确率。本文给出了该方法的线性和非线性实现并进行了评估。大量实验表明，所提出的方法在人脸对齐和三维人脸重建方面均能达到 SOTA 准确率，并且由于其重建的 PEN 三维人脸而有利于人脸识别。