基于 SAM 3D 身体的世界坐标人体动作重定向
机器人学
2025-12-29 v1
摘要
从单目视频中恢复带有人oid 机器人重定向的人体动作对具身智能和机器人技术至关重要。为避免复杂的 SLAM 流程或重型时序模型，我们提出一种轻量、工程导向的框架，利用 SAM 3D 身体（3DB）作为冻结感知 backbone，使用 Momentum HumanRig（MHR）表示作为机器人友好的中间表示。我们的方法（1）锁定每个跟踪主体的身份和骨骼尺度参数，以确保骨骼长度在时间上一致；（2）通过在低维 MHR 潜在空间中的高效滑动窗口优化，对单帧预测进行平滑处理；（3）结合可微软脚地面接触模型和接触感知全局优化，恢复物理上合理的全局根轨迹。最后，我们采用基于运动学的两阶段逆运动学管线将重建动作重定向到 Unitree G1 人oid 机器人。真实单目视频上的实验结果表明，我们的方法在世界轨迹稳定且机器人重定向可靠，表明结构化的人体表示结合轻量物理约束可从单目输入中生成机器人就绪动作。
引用
@article{arxiv.2512.21573,
title = {World-Coordinate Human Motion Retargeting via SAM 3D Body},
author = {Zhangzheng Tu and Kailun Su and Shaolong Zhu and Yukun Zheng},
journal= {arXiv preprint arXiv:2512.21573},
year = {2025}
}