用于单幅图像 3D 人体姿态估计的双源方法

在这项工作中，我们解决了从单幅图像进行 3D 人体姿态估计这一具有挑战性的问题。近期的方法学习深度神经网络以直接从图像回归 3D 姿态。然而，此类方法的一个主要挑战是训练数据的收集。具体而言，收集包含带有精确 3D 姿态标注的无约束图像的大量训练数据是不可行的。因此我们提议使用两个独立的训练源。第一个源由精确的 3D 动作捕捉数据组成，第二个源由带有标注 2D 姿态的无约束图像组成。为了整合两个源，我们提出了一种双源方法，将 2D 姿态估计与高效的 3D 姿态检索相结合。为此，我们首先将动作捕捉数据转换为归一化的 2D 姿态空间，并从图像数据单独学习一个 2D 姿态估计模型。在推理期间，我们估计 2D 姿态并高效检索最近的 3D 姿态。然后我们联合估计从 3D 姿态空间到图像的映射并重建 3D 姿态。我们提供了对所提方法的全面评估，并通过实验证明了我们方法的有效性，即使两个源的骨架结构存在显著差异。