通过融合头部姿态信息与特征实现三维人脸对齐
计算机视觉与模式识别
2023-08-28 v1
摘要
人类能够从人脸形状推断头部姿态，反之亦然，这表明二者之间存在强相关性。因此，近期人脸对齐研究已在计算机视觉任务中利用头部姿态信息预测面部关键点。本研究提出一种新方法，通过将该信息与一个人脸对齐网络的特征图相融合（而非仅用于初始化面部关键点）来利用头部姿态信息提升对齐性能。此外，所提网络结构通过采用由2D特征图与3D热图表示的多维特征构成的双维度网络，实现鲁棒的人脸对齐。为有效的密集人脸对齐，我们还提出一种基于知识蒸馏并使用预测关键点进行训练的面部几何关键点预测方法。我们通过实验评估了预测面部关键点与头部姿态信息间的相关性，以及面部关键点精度随头部姿态信息质量的变化情况。此外，我们在AFLW2000-3D、AFLW和BIWI数据集上通过与最先进方法的竞争性性能比较，证明了所提方法的有效性。
引用
@article{arxiv.2308.13327,
title = {3D Face Alignment Through Fusion of Head Pose Information and Features},
author = {Jaehyun So and Youngjoon Han},
journal= {arXiv preprint arXiv:2308.13327},
year = {2023}
}