用于3D人体姿态估计的多视图一致半监督学习
计算机视觉与模式识别
2020-02-26 v3
摘要
从单目图像进行3D人体姿态估计的最佳性能方法需要大量的野外2D与受控3D姿态标注数据集,这些数据集成本高昂且需要复杂系统来获取。为降低这种标注依赖,我们提出多视图一致半监督学习(MCSS)框架,该框架利用来自未标注、未标定但同步的多视图人体运动视频中姿态信息的相似性,作为额外的弱监督信号来引导3D人体姿态回归。我们的框架基于多视图视频中的时间关系进行难负样本挖掘,从而得到多视图一致的姿态嵌入。当与有限的3D姿态标注联合训练时,我们的方法将基线提升25%、将最先进水平提升8.7%,同时使用了显著更小的网络。最后但同样重要的是,我们展示了所学嵌入的优势,并在两个流行的公开多视图人体姿态数据集Human 3.6M和MPI-INF-3DHP上建立了视角不变姿态检索基准,以促进未来研究。
引用
@article{arxiv.1908.05293,
title = {Multiview-Consistent Semi-Supervised Learning for 3D Human Pose Estimation},
author = {Rahul Mitra and Nitesh B. Gundavarapu and Abhishek Sharma and Arjun Jain},
journal= {arXiv preprint arXiv:1908.05293},
year = {2020}
}