SAM 3D 身体：稳健的全身人体网格恢复

我们介绍了SAM 3D 身体（3DB），一种用于单图像全身3D人体网格恢复（HMR）的可提示模型，展示了领先的性能，具有强大的泛化能力和在多样化野外条件下的一致准确性。3DB估计人体、脚部和手部的姿态。它是首个使用新型参数化网格表示Momentum Human Rig（MHR）的模型，MHR解耦了骨骼结构和表面形状。3DB采用编码器-解码器架构，支持辅助提示，包括2D关键点和掩码，使其能够类似SAM系列模型进行用户引导的推理。我们推出了一个由多个阶段注释管道生成的高质量注释，该管道使用各种手动关键点注释、可微优化、多视图几何和稠密关键点检测的组合。我们的数据引擎高效选择和处理数据，以确保数据多样性，收集异常姿态和罕见成像条件。我们提出了一个按姿态和外观类别组织的新评估数据集，支持对模型行为进行细致分析。我们的实验表明，两者在定性用户偏好研究和传统定量分析中都表现出卓越的泛化能力，并在先前方法上实现了实质性的改进。3DB和MHR都是开源的。