鼻、眼与耳：通过定位面部关键点进行头部姿态估计
计算机视觉与模式识别
2018-12-04 v1
摘要
单目头部姿态估计需要学习一个模型，从人脸输入图像中计算姿态（偏航、俯仰、翻滚）的内在欧拉角。对自然场景图像标注真实头部姿态角十分困难，且需要特定的拟合流程（仅能提供粗略近似的标注）。这凸显了在受控环境中捕获数据训练并能泛化到自然场景图像（具有变化的面部外观与光照）的方法之需求。当前多数直接在输入图像上学习回归函数的深度学习方法无法实现这一点。为此，我们提出在使用深度学习架构的同时采用更高层表示来回归头部姿态。具体而言，我们利用五个面部关键点（即左耳、右耳、左眼、右眼和鼻）的二维软定位热图形式的不确定性图，并将其送入卷积神经网络以回归头部姿态。我们在 BIWI 和 AFLW 两个具有挑战性的基准上展示了头部姿态估计结果，我们的方法在两个数据集上均超越了当前最优（SOTA）。
引用
@article{arxiv.1812.00739,
title = {Nose, eyes and ears: Head pose estimation by locating facial keypoints},
author = {Aryaman Gupta and Kalpit Thakkar and Vineet Gandhi and P J Narayanan},
journal= {arXiv preprint arXiv:1812.00739},
year = {2018}
}
备注
4 pages, ICASSP 2019