基于逆运动学与精炼的多人三维姿态与形状估计
计算机视觉与模式识别
2022-11-01 v2
摘要
从单目 RGB 图像以网格形式估计三维姿态与形状是一项挑战。显然，它比仅以骨架或热图形式估计三维姿态更困难。当涉及交互人物时，由于人与人遮挡引入的模糊性，三维网格重建变得更具挑战性。为应对这些挑战，我们提出了一种由 1）来自遮挡鲁棒三维骨架估计的逆运动学以及 2）基于 Transformer 的关系感知精炼技术所益的粗到细流水线。在我们的流水线中，我们首先从 RGB 图像获得多人的遮挡鲁棒三维骨架。然后，我们应用逆运动学将估计的骨架转换为可形变三维网格参数。最后，我们应用基于 Transformer 的网格精炼，在考虑三维网格的人内与人际关系的条件下精炼所获得的网格参数。通过大量实验，我们证明了方法的有效性，在 3DPW、MuPoTS 和 AGORA 数据集上优于当前最优方法。
引用
@article{arxiv.2210.13529,
title = {Multi-Person 3D Pose and Shape Estimation via Inverse Kinematics and Refinement},
author = {Junuk Cha and Muhammad Saqlain and GeonU Kim and Mingyu Shin and Seungryul Baek},
journal= {arXiv preprint arXiv:2210.13529},
year = {2022}
}
备注
Published at ECCV 2022