语义对齐：为面部关键点检测寻找语义一致的 ground-truth
计算机视觉与模式识别
2019-03-27 v1
摘要
近来，基于深度学习的面部关键点检测取得了巨大成功。尽管如此，我们注意到语义歧义严重降低了检测性能。具体而言，语义歧义是指某些关键点（例如沿面部轮廓均匀分布者）没有清晰准确的定义，导致标注者标注不一致。相应地，这些通常由公开数据库提供的不一致标注，常作为 ground-truth 监督网络训练，造成精度下降。据我们所知，鲜有研究探讨此问题。本文中，我们提出一种新颖的概率模型，引入一个潜变量，即语义一致的“真实” ground-truth 进行优化。该框架耦合两部分：（1）训练关键点检测 CNN 与（2）搜索“真实” ground-truth。这两部分交替优化：搜索出的“真实” ground-truth 监督 CNN 训练；训练好的 CNN 辅助“真实” ground-truth 的搜索。此外，为恢复因遮挡与低质量而预测置信度低的关键点，我们提出全局热图校正单元（GHCU），以全局脸形为约束校正离群点。在基于图像（300W 与 AFLW）和基于视频（300-VW）的数据库上的大量实验表明，我们的方法有效提升了关键点检测精度并达到了最先进的性能。
引用
@article{arxiv.1903.10661,
title = {Semantic Alignment: Finding Semantically Consistent Ground-truth for Facial Landmark Detection},
author = {Zhiwei Liu and Xiangyu Zhu and Guosheng Hu and Haiyun Guo and Ming Tang and Zhen Lei and Neil M. Robertson and Jinqiao Wang},
journal= {arXiv preprint arXiv:1903.10661},
year = {2019}
}
备注
Accepted at CVPR 2019