PONet：仅通过学习朝向实现鲁棒的3D人体姿态估计
计算机视觉与模式识别
2021-12-22 v1 人工智能
机器学习
摘要
传统的3D人体姿态估计依赖于先检测2D身体关键点，再求解2D到3D的对应问题。尽管结果令人鼓舞，该学习范式高度依赖于2D关键点检测器的质量，而后者在遮挡与图像外缺失时不可避免地脆弱。本文中，我们提出一种新颖的姿态朝向网络（PONet），它能够仅通过学习朝向来鲁棒地估计3D姿态，从而在缺乏图像证据时绕开易出错的关键点检测器。对于肢体部分不可见的图像，PONet利用局部图像证据估计这些肢体的3D朝向以恢复3D姿态。此外，PONet能够仅从肢体完全不可见的图像中，通过利用可见肢体间的朝向相关性来补充估计姿态，推断完整的3D姿态，进一步提升3D姿态估计的鲁棒性。我们在多个数据集上评估了我们的方法，包括Human3.6M、MPII、MPI-INF-3DHP与3DPW。我们的方法在理想设定下取得了与最先进技术相当的结果，却显著消除了对关键点检测器及其相应计算负担的依赖。在截断与擦除等极具挑战性的场景中，我们的方法表现非常鲁棒，并取得远优于最先进技术的結果，展示了其在实际应用中的潜力。
引用
@article{arxiv.2112.11153,
title = {PONet: Robust 3D Human Pose Estimation via Learning Orientations Only},
author = {Jue Wang and Shaoli Huang and Xinchao Wang and Dacheng Tao},
journal= {arXiv preprint arXiv:2112.11153},
year = {2021}
}