无限3D landmarks: 改进连续2D人脸关键点检测

本文考察了面向实际应用的前沿人脸关键点检测器的三个重要问题，并通过结合特定的架构修改直接提高其准确度和时序稳定性。首先，许多人脸关键点检测器需要作为预处理步骤进行人脸归一化，这通过单独训练的神经网络完成，对输入图像中的人脸进行裁剪和调整。无法保证该预训练网络对关键点检测执行最佳人脸归一化。我们分析了使用在无监督方式下与关键点检测器一起训练的空间转换网络，以联合学习最佳人脸归一化和关键点检测。其次，我们表明修改关键点预测器的输出头以推断标准3D空间中的关键点可进一步提高准确度。为将预测的3D关键点转换为屏幕空间，我们额外从输入图像预测相机内参和头部姿态。作为副产品，这允许仅使用2D关键点作为监督从给定图像预测3D人脸轮廓，这在确定关键点可见性等方面有用。最后，在多个数据集上同时训练关键点检测器时，数据集之间的标注不一致会迫使网络产生次优的平均值。我们提出添加语义校正网络以解决此问题。该额外的轻量级神经网络无需额外监督即可与关键点检测器一起训练。虽然本文的见解可以应用于大多数常见的关键点检测器，但我们特别针对最近提出的连续2D关键点检测器来演示我们每个添加项都对标准基准测试上的最新成果产生有意义的改进。