ManiPose：流形约束的多假设三维人体姿态估计
计算机视觉与模式识别
2024-12-02 v2 人工智能
机器学习
摘要
我们提出ManiPose，一种用于人体姿态2D到3D提升的流形约束多假设模型。我们提供理论和实证证据表明，由于单目三维人体姿态估计固有的深度模糊性，传统的回归模型存在姿态拓扑一致性问题，而标准评估指标（MPJPE、P-MPJPE和PCK）无法评估该问题。ManiPose通过为每个2D输入提出多个候选3D姿态（每个都有其估计的合理性）来解决深度模糊性。与以往的多假设方法不同，ManiPose放弃了生成模型，极大地便利了其训练和使用。通过约束输出位于人体姿态流形上，ManiPose保证了所有假设姿态的一致性，这与先前的工作形成对比。我们展示了ManiPose在真实世界数据集上的性能，它在姿态一致性方面大幅优于最先进的模型，同时在MPJPE指标上非常有竞争力。
引用
@article{arxiv.2312.06386,
title = {ManiPose: Manifold-Constrained Multi-Hypothesis 3D Human Pose Estimation},
author = {Cédric Rommel and Victor Letzelter and Nermin Samet and Renaud Marlet and Matthieu Cord and Patrick Pérez and Eduardo Valle},
journal= {arXiv preprint arXiv:2312.06386},
year = {2024}
}
备注
Accepted to NeurIPS 2024