RepNet:用于三维人体姿态估计的对抗重投影网络的弱监督训练
计算机视觉与模式识别
2019-03-13 v2
摘要
本文研究从单幅图像进行三维人体姿态估计的问题。长期以来,人体骨架通过参数化并满足重投影误差来拟合观测数据,而如今研究者直接利用神经网络从观测中推断三维姿态。然而,这类方法大多忽略了重投影约束必须被满足这一事实,并且对过拟合敏感。我们通过忽略二维到三维的对应关系来解决过拟合问题。这有效避免了简单地记忆训练数据,并允许进行弱监督训练。所提出的重投影网络(RepNet)的一部分使用对抗训练方法学习从二维姿态分布到三维姿态分布的映射。网络的另一部分估计相机。这使得可以定义一个网络层,将估计的三维姿态重投影回二维,从而产生重投影损失函数。我们的实验表明,RepNet对未知数据具有良好的泛化能力,并且在应用于未见过的数据时优于当前最优(SOTA)方法。此外,我们的实现在标准台式PC上实时运行。
引用
@article{arxiv.1902.09868,
title = {RepNet: Weakly Supervised Training of an Adversarial Reprojection Network for 3D Human Pose Estimation},
author = {Bastian Wandt and Bodo Rosenhahn},
journal= {arXiv preprint arXiv:1902.09868},
year = {2019}
}
备注
accepted to CVPR 2019