推理结构关系以实现遮挡鲁棒的人脸关键点定位
计算机视觉与模式识别
2021-12-21 v1
摘要
在人脸关键点定位任务中，由于面部特征的部分可观测性，各种遮挡会严重降低定位精度。本文提出一种用于遮挡鲁棒关键点定位的结构关系网络（SRN）。与大多数仅简单利用形状约束的现有方法不同，所提SRN旨在捕捉不同面部部件之间的结构关系。这些关系可视为一种比遮挡更强大的形状约束。为此，设计了一个层次化结构关系模块（HSRM），以层次化方式推理代表长短距离空间依赖的结构关系。与现有网络架构相比，HSRM利用其几何感知的网络架构能高效建模空间关系，从而减少遮挡引起的语义歧义。此外，SRN通过合成遮挡人脸来增强训练数据。为进一步将SRN扩展至遮挡视频数据，我们将遮挡人脸合成表述为马尔可夫决策过程（MDP）。具体而言，它基于与预训练SRN性能下降相关的累积奖励来规划动态遮挡的运动。该过程增强了困难样本以实现鲁棒的人脸关键点跟踪。大量实验结果表明，所提方法在遮挡和佩戴口罩的人脸上取得了优异性能。代码见 https://github.com/zhuccly/SRN。
引用
@article{arxiv.2112.10087,
title = {Reasoning Structural Relation for Occlusion-Robust Facial Landmark Localization},
author = {Congcong Zhu and Xiaoqiang Li and Jide Li and Songmin Dai and Weiqin Tong},
journal= {arXiv preprint arXiv:2112.10087},
year = {2021}
}
备注
Accepted by Pattern recognition