基于生成与序数排序的单目 3D 人体姿态估计
计算机视觉与模式识别
2019-08-22 v2 机器学习
摘要
从静态图像进行单目 3D 人体姿态估计是一个具有挑战性的问题，源于维度灾难以及 2D 到 3D 提升的不适定性。本文提出一种基于深度条件变分自编码器（CVAE）的模型，该模型以估计的 2D 姿态为条件合成多样且解剖学合理的 3D 姿态样本。我们表明基于 CVAE 的 3D 姿态样本集与 2D 姿态一致，并有助于应对 2D 到 3D 提升中的固有歧义。我们提出两种获得最终 3D 姿态的策略——（a）利用深度排序/序数关系对候选 3D 姿态打分并加权平均，称为 OrdinalScore；（b）借助 Oracle 的监督。使用 OrdinalScore 我们在两个基准数据集上取得了接近当前最优（state-of-the-art）的结果，而使用 Oracle 取得了当前最优结果。我们还表明我们的流程在无配对图像到 3D 标注时也能给出有竞争力的结果。训练与评估代码见 https://github.com/ssfootball04/generative_pose。
引用
@article{arxiv.1904.01324,
title = {Monocular 3D Human Pose Estimation by Generation and Ordinal Ranking},
author = {Saurabh Sharma and Pavan Teja Varigonda and Prashast Bindal and Abhishek Sharma and Arjun Jain},
journal= {arXiv preprint arXiv:1904.01324},
year = {2019}
}
备注
In Proceedings of the 2019 IEEE International Conference on Computer Vision (ICCV)