基于直观物理的3D人体姿态估计
计算机视觉与模式识别
2023-07-25 v3 人工智能
图形学
摘要
从图像中估计3D人体常产生不合理的人体，如倾斜、悬浮或穿透地面。此类方法忽略了人体通常由场景支撑这一事实。物理引擎可用于强制物理合理性，但这些引擎不可微分、依赖不真实的代理人体，且难以集成到现有的优化和学习框架中。相反，我们利用新颖的直观物理（IP）项，这些项可从与场景交互的3D SMPL 人体推断得出。受生物力学启发，我们推断人体上的压力热图、由热图得到的压力中心（CoP）以及 SMPL 人体的质心（CoM）。基于此，我们开发了 IPMAN，通过鼓励合理的地面接触以及 CoP 与 CoM 的重叠，从彩色图像估计处于“稳定”配置的3D人体。我们的IP项直观、易于实现、计算快速、可微分，并可集成到现有的优化和回归方法中。我们在标准数据集和 MoYo（一个具有同步多视角图像、带复杂姿态的地面真实3D人体、人体-地面接触、CoM 和压力的新数据集）上评估 IPMAN。IPMAN 比当前最先进方法产生更合理的结果，在静态姿态上提高精度，同时不损害动态姿态。代码和数据可在 https://ipman.is.tue.mpg.de 获取用于研究。
引用
@article{arxiv.2303.18246,
title = {3D Human Pose Estimation via Intuitive Physics},
author = {Shashank Tripathi and Lea Müller and Chun-Hao P. Huang and Omid Taheri and Michael J. Black and Dimitrios Tzionas},
journal= {arXiv preprint arXiv:2303.18246},
year = {2023}
}
备注
Accepted in CVPR'23. Project page: https://ipman.is.tue.mpg.de