基于自监督学习的三维人体姿态机

受近期计算机视觉与机器人应用的驱动，恢复三维人体姿态已变得愈发重要并引起日益增长的关注。事实上，由于单目图像中多样的外观、视角、遮挡以及固有的几何歧义，完成该任务极具挑战性。现有多数方法侧重于设计一些精细的先验/约束，以基于相应的二维人体姿态感知特征或二维姿态预测直接回归三维人体姿态。然而，由于用于训练的三维姿态数据不足以及二维空间与三维空间之间的域差距，这些方法在所有实际场景（如室外场景）中的可扩展性有限。为尝试解决此问题，本文提出一种简单而有效的自监督校正机制，从丰富的图像中学习人体姿态的所有内在结构。具体而言，所提机制涉及两个对偶学习任务，即二维到三维姿态变换与三维到二维姿态投影，以在三维与二维人体姿态之间充当一种用于精确三维人体姿态估计的“免费”自监督桥梁。二维到三维姿态意指通过在序列相关的时间上下文下将姿态表示从二维域变换到三维域来顺序回归中间三维姿态，而三维到二维姿态投影则通过维持三维姿态的二维投影与估计的二维姿态之间的几何一致性来精炼中间三维姿态。我们进一步将自监督校正机制应用于开发一种三维人体姿态机，其联合整合了二维空间关系、预测的时间平滑性以及三维几何知识。大量评估证明了我们的框架相对于所有对比竞争方法的优越性能与效率。