将 2D 人体姿态提升至 3D：一种弱监督方法
计算机视觉与模式识别
2019-05-06 v1 人工智能
摘要
由于人体姿态的多样性与复杂性以及从单一视角恢复深度时固有的模糊性，从单目图像估计 3D 人体姿态是一个具有挑战性的问题。近期基于深度学习的方法通过在 3D 姿态标注数据集上进行监督学习，展现出了可喜的结果。然而，由于缺乏在自然环境（in-the-wild）下采集的大规模 3D 标注训练数据，使得对自然环境姿态的 3D 姿态估计变得困难。少数方法以弱监督的方式利用了来自 3D 和 2D 姿态数据集的训练图像，以学习无约束环境下的 3D 姿态。在本文中，我们提出了一种方法，该方法使用在真实 3D 姿态和真实 2D 姿态组合上以弱监督方式训练的深度神经网络，能够有效地从 2D 姿态预测 3D 人体姿态。我们的方法使用重投影误差最小化作为约束来预测身体关节的 3D 位置，这对于在缺乏 3D 真值的数据上进行训练至关重要。由于仅最小化重投影误差可能无法保证准确的 3D 姿态，我们还对骨架姿态使用额外的几何约束，以在 3D 中对姿态进行正则化。我们通过在包含自然环境 3D 姿态的极具挑战性的 3D 基准数据集 MPI-INF-3DHP 上进行跨数据集验证，证明了我们方法出色的泛化能力。
引用
@article{arxiv.1905.01047,
title = {Lifting 2d Human Pose to 3d : A Weakly Supervised Approach},
author = {Sandika Biswas and Sanjana Sinha and Kavya Gupta and Brojeshwar Bhowmick},
journal= {arXiv preprint arXiv:1905.01047},
year = {2019}
}
备注
Accepted in IJCNN 2019