自然场景下的联合多视角人脸对齐
计算机视觉与模式识别
2017-08-22 v1
摘要
事实上面部关键点估计的标准算法包括运行人脸检测器，随后在边界框上进行可变形模型拟合。这包含两个基本问题：i）检测和可变形拟合步骤是独立执行的，而检测器可能无法为拟合步骤提供最合适的初始化；ii）人脸外观在不同姿态间变化巨大，这使得可变形人脸拟合极具挑战性，因此必须使用不同的模型（例如，一个用于侧脸，一个用于正脸）。在这项工作中，我们提出了据我们所知首个联合多视角卷积网络，以处理自然场景下人脸的大姿态变化，并巧妙地桥接了人脸检测和面部关键点定位任务。现有的联合人脸检测和关键点定位方法仅关注非常少的关键点。相比之下，我们的方法可以检测并对齐半正面（68 个关键点）和侧面（39 个关键点）人脸的大量关键点。我们在众多数据集上评估了我们的模型，包括标准静态图像数据集（如 IBUG、300W、COFW）以及用于半正面和侧脸的最新 Menpo 基准。在 300VW 基准上，可变形人脸跟踪相比现有最先进方法取得了显著改进。我们还在 FDDB 和 MALF 数据集上展示了人脸检测的最先进结果。
引用
@article{arxiv.1708.06023,
title = {Joint Multi-view Face Alignment in the Wild},
author = {Jiankang Deng and George Trigeorgis and Yuxiang Zhou and Stefanos Zafeiriou},
journal= {arXiv preprint arXiv:1708.06023},
year = {2017}
}
备注
submit to IEEE Transactions on Image Processing