用于人脸、面部关键点与头部姿态联合检测的实时多任务学习系统
计算机视觉与模式识别
2023-09-22 v1
摘要
极端头部姿态在包括人脸检测、面部关键点检测（FLD）和头部姿态估计（HPE）在内的一系列面部分析任务中构成常见挑战。这些任务相互依赖：准确的 FLD 依赖于鲁棒的人脸检测，而 HPE 与这些关键点密切相关。本文关注这些任务的集成，特别是在应对大角度人脸姿态所带来的复杂性时。本研究的主要贡献是提出了一种实时多任务检测系统，能够同时执行人脸、面部关键点和头部姿态的联合检测。该系统构建于广泛采用的 YOLOv8 检测框架之上。它通过引入额外的关键点回归头扩展了原有的目标检测头，实现了对关键面部关键点的高效定位。此外，我们对原始 YOLOv8 框架内的多个模块进行了优化与增强。为验证所提模型的有效性与实时性能，我们在 300W-LP 和 AFLW2000-3D 数据集上进行了大量实验。所得结果证实了我们的模型在处理大角度人脸姿态挑战的同时，能在这类相互关联的任务上提供实时性能。
引用
@article{arxiv.2309.11773,
title = {A Real-Time Multi-Task Learning System for Joint Detection of Face, Facial Landmark and Head Pose},
author = {Qingtian Wu and Liming Zhang},
journal= {arXiv preprint arXiv:2309.11773},
year = {2023}
}
备注
11 pages, 10 figures, 7 tables