基于多阶多约束深度网络的鲁棒人脸关键点检测
计算机视觉与模式识别
2020-12-14 v2
摘要
近年来，热力图回归在人脸关键点检测中得到广泛探索并取得了卓越性能。然而，现有大多数基于热力图回归的人脸关键点检测方法忽视了探索高阶特征相关性，而这对于学习更具代表性的特征和增强形状约束非常重要。此外，最终预测的关键点未加入显式的全局形状约束，导致精度下降。为解决这些问题，本文提出一种多阶多约束深度网络（MMDN），用于更强大的特征相关性和形状约束学习。具体而言，提出隐式多阶相关性几何感知（IMCG）模型，引入多阶空间相关性和多阶通道相关性以获得更具判别性的表示。进一步，提出基于显式概率的边界自适应回归（EPBR）方法，以增强全局形状约束并在预测边界中进一步搜索语义一致的关键点，实现鲁棒的人脸关键点检测。有趣的是，所提出的MMDN能够生成更精确的边界自适应关键点热力图，并有效增强对具有大姿态变化和严重遮挡人脸的预测关键点的形状约束。在具有挑战性的基准数据集上的实验结果证明了我们的MMDN优于最先进的人脸关键点检测方法。代码已公开于https://github.com/junwan2014/MMDN-master。
引用
@article{arxiv.2012.04927,
title = {Robust Facial Landmark Detection by Multi-order Multi-constraint Deep Networks},
author = {Jun Wan and Zhihui Lai and Jing Li and Jie Zhou and Can Gao},
journal= {arXiv preprint arXiv:2012.04927},
year = {2020}
}
备注
This paper has been accepted by TNNLS December 2020. Project page:https://github.com/junwan2014/MMDN-master