基于几何自监督的无监督三维姿态估计
计算机视觉与模式识别
2019-04-10 v1
摘要
我们提出了一种无监督学习方法，从单幅图像提取的二维骨骼关节中恢复三维人体姿态。我们的方法在训练过程中不需要任何多视角图像数据、三维骨架、二维-三维点之间的对应关系，也不使用先前学习到的三维先验。一个提升网络接受二维关键点作为输入并生成相应的三维骨架估计。在训练期间，恢复的三维骨架被重投影到随机相机视角以生成新的“合成”二维姿态。通过将合成二维姿态重新提升为三维并将其重投影到原始相机视角，我们可以在三维和二维上定义自一致性损失。因此，训练可以通过利用提升-重投影-提升过程的几何自一致性进行自监督。我们表明，仅靠自一致性不足以生成逼真的骨架，然而添加一个二维姿态判别器可使提升器输出有效的三维姿态。此外，为了从“野外”二维姿态中学习，我们训练了一个无监督的二维域适配器网络以扩展二维数据。这改善了结果并证明了二维姿态数据对无监督三维提升的有用性。在 Human3.6M 数据集上针对三维人体姿态估计的结果表明，我们的方法比先前的无监督方法提升了 30%，并且优于许多显式使用三维数据的弱监督方法。
引用
@article{arxiv.1904.04812,
title = {Unsupervised 3D Pose Estimation with Geometric Self-Supervision},
author = {Ching-Hang Chen and Ambrish Tyagi and Amit Agrawal and Dylan Drover and Rohith MV and Stefan Stojanov and James M. Rehg},
journal= {arXiv preprint arXiv:1904.04812},
year = {2019}
}