基于参考热力图Transformer的精确人脸关键点检测
计算机视觉与模式识别
2023-04-19 v1
摘要
大多数人脸关键点检测方法通过将输入人脸外观特征映射到关键点热力图来预测关键点，并已取得可喜结果。然而，当人脸图像存在大姿态、严重遮挡和复杂光照时，它们无法学习有判别力的特征表示和有效的面部形状约束，也不能准确预测关键点热力图中每个元素的值，限制了检测精度。为解决该问题，我们提出一种新颖的参考热力图Transformer（RHT），通过引入参考热力图信息实现更精确的人脸关键点检测。所提RHT由软变换模块（STM）和硬变换模块（HTM）组成，二者可相互协作以促进参考热力图信息与面部形状约束的准确变换。随后，提出多尺度特征融合模块（MSFFM）将变换后的热力图特征与从原始人脸图像学习的语义特征相融合，以增强特征表示从而生成更准确的目标热力图。据我们所知，这是首个探索如何通过变换参考热力图信息增强人脸关键点检测的研究。在具有挑战性的基准数据集上的实验结果表明，我们所提方法优于文献中的最优方法。
引用
@article{arxiv.2303.07840,
title = {Precise Facial Landmark Detection by Reference Heatmap Transformer},
author = {Jun Wan and Jun Liu and Jie Zhou and Zhihui Lai and Linlin Shen and Hang Sun and Ping Xiong and Wenwen Min},
journal= {arXiv preprint arXiv:2303.07840},
year = {2023}
}
备注
Accepted by IEEE Transactions on Image Processing, March 2023