面向野外的三维人体姿态估计：一种弱监督方法

本文研究野外的三维人体姿态估计任务。该任务具有挑战性，因为缺乏训练数据：现有数据集要么是带二维姿态的野外图像，要么是带三维姿态的实验室图像。我们提出一种弱监督迁移学习方法，在呈现两阶段级联结构的统一深度神经网络中使用混合的二维与三维标签。我们的网络以最先进的二维姿态估计子网络增强一个三维深度回归子网络。与之前顺序且分离地训练两个子网络的两阶段方法不同，我们的训练是端到端的，并充分利用二维姿态与深度估计子任务之间的相关性。深度特征通过共享表示得到更好的学习。如此，受控实验室环境中的三维姿态标签被迁移至野外图像。此外，我们引入一种三维几何约束来正则化三维姿态预测，这在缺乏真实深度标签时有效。我们的方法在二维与三维基准上均取得了具竞争力的结果。