一种用于人脸对齐、头部姿态估计与人脸跟踪的高效多任务神经网络
计算机视觉与模式识别
2022-05-02 v3
摘要
尽管卷积神经网络（CNNs）已显著提升了人脸相关算法的性能，但在实际使用中同时保持精度与效率仍具挑战。现有最优方法采用更深的网络以获取更好性能，但因参数更多、计算复杂度更高，使其在移动应用中不够实用。因此，我们提出了一种高效多任务神经网络——对齐与跟踪与姿态网络（ATPN），用于人脸对齐、人脸跟踪和头部姿态估计。具体而言，为以更少层数在人脸对齐上取得更好性能，我们在浅层与深层特征间引入捷径连接。我们发现浅层特征与面部边界高度对应，可提供人脸的结构信息，这对人脸对齐至关重要。此外，我们基于人脸对齐结果生成低成本的heatmap，并将其与特征融合以提升另两个任务的性能。基于该heatmap，网络可利用关键点的几何信息与表观信息进行头部姿态估计。该heatmap也为人脸跟踪提供了注意力线索。人脸跟踪任务还省去了每帧的人脸检测步骤，显著提升了基于视频任务的实时能力。我们在四个基准数据集 WFLW、300VW、WIDER Face 和 300W-LP 上对 ATPN 进行了实验验证。实验结果表明，与其他轻量模型相比，它以远少的参数和更低的计算复杂度取得了更优性能。
引用
@article{arxiv.2103.07615,
title = {An Efficient Multitask Neural Network for Face Alignment, Head Pose Estimation and Face Tracking},
author = {Jiahao Xia and Haimin Zhang and Shiping Wen and Shuo Yang and Min Xu},
journal= {arXiv preprint arXiv:2103.07615},
year = {2022}
}
备注
13 pages, 9 figures, Accepted to ESWA