利用多视图几何的自监督 3D 人体姿态学习
计算机视觉与模式识别
2019-04-10 v2
摘要
训练精确的 3D 人体姿态估计器需要大量 3D 真值数据，而采集成本高昂。由于缺乏 3D 数据，已有多种弱监督或自监督姿态估计方法被提出。然而，这些方法除 2D 真值姿态外，还需要各种形式的额外监督（如非配对 3D 真值数据、少量标签子集）或多视图设置中的相机参数。为解决这些问题，我们提出 EpipolarPose，一种用于 3D 人体姿态估计的自监督学习方法，无需任何 3D 真值数据或相机外参。训练期间，EpipolarPose 从多视图图像估计 2D 姿态，然后利用对极几何获得 3D 姿态与相机几何，随后用于训练 3D 姿态估计器。我们在标准基准数据集 Human3.6M 和 MPI-INF-3DHP 上验证了方法的有效性，在弱/自监督方法中达到新的 SOTA。此外，我们提出新的性能指标 Pose Structure Score (PSS)，一种尺度不变、结构感知的度量，用于评估姿态相对于其真值的结构合理性。代码与预训练模型见 https://github.com/mkocabas/EpipolarPose
引用
@article{arxiv.1903.02330,
title = {Self-Supervised Learning of 3D Human Pose using Multi-view Geometry},
author = {Muhammed Kocabas and Salih Karagoz and Emre Akbas},
journal= {arXiv preprint arXiv:1903.02330},
year = {2019}
}
备注
CVPR 2019 camera ready. Code is available at https://github.com/mkocabas/EpipolarPose