迈向人脸的度量重建

人脸重建与跟踪是 AR/VR、人机交互以及医疗应用中众多应用的基石。这些应用大多依赖于对形状在度量意义上的正确预测，尤其是当重建对象被置于度量上下文中时（即存在已知尺寸的参考物体）。任何测量对象距离与尺寸的应用（例如虚拟试戴眼镜框）也需要度量重建。当前最先进的单图像人脸重建方法以自监督方式在大型 2D 图像数据集上训练。然而，由于透视投影的本质，它们无法重建真实的人脸尺寸，甚至在度量意义上预测平均人脸都优于其中某些方法。为学习人脸的真实形状，我们主张采用有监督训练方案。由于该任务不存在大规模 3D 数据集，我们标注并统一了中小规模数据库。所得统一数据集仍是超过 2k 个身份的中等规模数据集，仅在其上训练会导致过拟合。为此，我们利用在大规模 2D 图像数据集上预训练的人脸识别网络，其为不同人脸提供区分性特征，并对表情、光照和相机变化具有鲁棒性。利用这些特征，我们以有监督方式训练人脸形状估计器，继承了人脸识别网络的鲁棒性与泛化能力。我们称该方法为 MICA（MetrIC fAce），其在当前非度量基准以及我们的度量基准上均以大幅优势超越最先进重建方法（在 NoW 上平均误差分别降低 15% 和 24%）。