中文

DirectMHP:全角度范围的直接二维多人头部姿态估计

计算机视觉与模式识别 2023-02-15 v2

摘要

现有头部姿态估计(HPE)主要聚焦于具有预检测正面头部的单人,限制了其在多人的真实复杂场景中的应用。我们认为这些单人头姿方法对于多人头部姿态估计(MPHPE)而言脆弱且低效,因为它们依赖于单独训练的人脸检测器,无法很好地泛化至全视角,尤其对于面部区域不可见的头部。本文关注全范围MPHPE问题,并提出一种名为DirectMHP的直接端到端简单基线。由于缺乏适用于全范围MPHPE的数据集,我们首先通过从公开数据集AGORA和CMU Panoptic中提取头部检测与头部朝向的真实标签构建了两个基准。它们因具有许多截断、遮挡、微小且光照不均的人头而颇具挑战性。然后,我们设计了一种新颖的端到端可训练单阶段网络架构,通过联合回归多人头的位置与朝向来解决MPHPE问题。具体而言,我们将姿态视为头部的辅助属性,并将其附加于传统目标预测之后。任意姿态表示如欧拉角均可被这一灵活设计接受。随后,我们通过共享特征并利用恰当的多重损失联合优化这两个任务。如此,我们的方法可隐式地从更多周边环境中受益以提升HPE精度,同时保持头部检测性能。我们在公开基准上与最先进的单人头姿方法进行了全面比较,并在我们构建的MPHPE数据集上给出了优越的基线结果。数据集与代码发布于 https://github.com/hnuzhy/DirectMHP。

关键词

引用

@article{arxiv.2302.01110,
  title  = {DirectMHP: Direct 2D Multi-Person Head Pose Estimation with Full-range Angles},
  author = {Huayi Zhou and Fei Jiang and Hongtao Lu},
  journal= {arXiv preprint arXiv:2302.01110},
  year   = {2023}
}

备注

13 pages