利用人体测量数据提高人体网格估计并确保身体形状一致性
计算机视觉与模式识别
2025-04-15 v4
摘要
一个人的基本身体形状（即 T 姿态下的身体形状）在单个视频内保持不变。然而，大多数最先进的人体网格估计（HME）模型会输出略有不同的、因此不一致的每个视频帧的基本身体形状。此外，我们发现最先进的 3D 人体姿态估计（HPE）模型在估计 3D 关键点位置方面的精度优于 HME 模型。我们通过利用像裁缝对人体测量数据一样的测量值来解决身体形状不一致的问题。我们创建了一个称为 A2B 的模型，该模型将给定的人体测量数据转换为人体网格模型的基本身体形状参数。我们通过将 A2B 模型结果与 3D HPE 模型的关键点结合使用运动学逆解来获得更优且一致的人体网格。我们在具有挑战性的数据集（如 ASPset 或 fit3D）上进行评估，其中我们可以将与最先进 HME 模型相比的 MPJPE 降低超过 30 毫米。进一步地，用 A2B 结果替换来自现有 HME 模型的身体形状参数估计，不仅会提高这些 HME 模型的性能，还保证了身体形状的一致性。
引用
@article{arxiv.2409.17671,
title = {Leveraging Anthropometric Measurements to Improve Human Mesh Estimation and Ensure Consistent Body Shapes},
author = {Katja Ludwig and Julian Lorenz and Daniel Kienzle and Tuan Bui and Rainer Lienhart},
journal= {arXiv preprint arXiv:2409.17671},
year = {2025}
}
备注
accepted for CVSports@CVPR'25