FaceLift：半监督三维面部地标定位
计算机视觉与模式识别
2024-05-31 v1
摘要
三维面部地标定位已被证明在面部跟踪、三维面部建模和基于图像的三维面部重建等应用中特别有用。在监督学习情况下，此类方法通常依赖于基于3DMM配准导出的3D地标数据集，这些数据集通常缺乏与手工标注的人类共识（例如，眉毛地标如何定义？）相比的空间定义对齐。这在通过高质量2D人类标签和3DMM生成的地标数据集之间造成了差距，并最终限制了它们的有效性。为解决此问题，我们引入一种新颖的半监督学习方法，通过直接提升（可见的）手工标注的2D地标来学习3D地标，并确保更好的定义对齐，无需3D地标数据集。为了将2D地标提升到3D，我们利用3D感知GAN进行更好的多视图一致性学习，以及野外多帧视频进行鲁棒的跨泛化。实证实验表明，我们的方法不仅在2D-3D地标之间实现了更好的定义对齐，而且在3DMM标记和摄影测量真实评估数据集上都优于其他监督学习3D地标定位方法。项目页面：https://davidcferman.github.io/FaceLift
引用
@article{arxiv.2405.19646,
title = {FaceLift: Semi-supervised 3D Facial Landmark Localization},
author = {David Ferman and Pablo Garrido and Gaurav Bharaj},
journal= {arXiv preprint arXiv:2405.19646},
year = {2024}
}
备注
CVPR 2024