由条件面部变形引导的通用面部关键点定位

面部关键点定位是从图像中提取面部关键点的技术，作为人脸建模、编辑和生成的重要一步。在实际应用中，需要一种通用的面部关键点定位器，因为现实中的面部图像（如动画和游戏中的头像）常常以各种方式进行风格化处理。然而，实现通用的面部关键点定位具有挑战性，主要由于面部风格的多样性以及标记化风格化面部样本的稀缺。在本研究中，我们提出了一种简单但有效的范式，基于标记的真实人脸和无标记的风格化面部图像来学习通用的面部关键点定位器。该方法将面部关键点定位器作为条件面部变形器的关键模块进行学习。给定一对真实面部图像和风格化面部图像后，条件面部变形器会预测从真实面部到风格化面部的变形场，其中面部关键点定位器预测变形场的终点，并为对应的风格化面部图像提供高质量的伪关键点。通过交替优化策略，我们学习面部关键点定位器，以最小化 i) 风格化面部与变形后的真实面部之间的差异，以及 ii) 真实关键点和伪关键点的预测误差。在各种数据集上的实验表明，我们的方法在面部关键点定位任务中优于现有领域自适应方法的SOTA水平，从而实现更好的通用性。代码已公开 https://plustwo0.github.io/project-face-landmarker。