借助野外2D人脸图像从单幅图像进行3D人脸重建

从单幅2D图像进行3D人脸重建是一个具有广泛应用前景的挑战性问题。近期方法通常旨在学习基于CNN的3D人脸模型，从2D图像回归3D可变形模型（3DMM）的系数以渲染3D人脸重建或密集人脸对齐。然而，带有3D标注的训练数据的匮乏极大限制了这些方法的性能。为缓解该问题，我们提出了一种新颖的2D辅助自监督学习（2DASL）方法，可有效利用带有噪声 landmark 信息的“野外”2D人脸图像来大幅改进3D人脸模型学习。具体而言，以稀疏2D面部landmark作为附加信息，2DSAL引入了四种新颖的自监督方案，将2D landmark与3D landmark预测视为自映射过程，包括2D与3D landmark自预测一致性、基于landmark预测的2D landmark预测上的循环一致性，以及基于landmark预测对预测3DMM系数的自评判。利用这四种自监督方案，2DASL方法显著减轻了对传统成对2D到3D标注的需求，并在无需任何额外3D标注的情况下给出更高质量的3D人脸模型。在多个具挑战性数据集上的实验表明，我们的方法在3D人脸重建与密集人脸对齐上均以大幅优势优于当前最优方法。