中文

PressMimic:用于人形机器人模仿的压力引导动作捕捉与控制

机器人学 2026-06-25 v1 计算机视觉与模式识别

摘要

人形动作模仿不仅需要准确感知人体运动学,还需忠实再现与环境的物理交互。然而,现有流水线主要依赖基于视觉的动作捕捉与运动学模仿,很大程度上忽略接触动力学,导致脚滑、穿地和不稳定行为等伪影。本工作中,我们从物理落地的角度重新审视人形动作模仿,并利用压力作为跨越感知与控制的统一模态。我们提出 PressMimic,一个将压力整合进从动作捕捉到人形控制的完整流水线的框架。在感知阶段,我们引入 FRAPPE++,一个融合 RGB 与压力联合估计 3D 姿态和全局运动的多模态模型,其中压力提供显式接触与支撑约束以解决基于视觉估计中的歧义。在控制阶段,我们提出压力监督策略(PSP),将压力衍生信号纳入强化学习,使执行期间具备物理一致的接触模式。我们进一步构建了 MotionPRO,一个含同步 RGB、压力与动作捕捉数据的大规模数据集。实验表明,压力提升了运动估计精度、轨迹一致性与执行稳定性。这些结果显示压力作为有效的物理落地信号,为物理一致的人形动作模仿架起了感知与控制的桥梁。

关键词

引用

@article{arxiv.2606.26741,
  title  = {PressMimic: Pressure-Guided Motion Capture and Control for Humanoid Robot Imitation},
  author = {Yi Lu and Shenghao Ren and Tianyu Xiong and Zhaoxiang Li and Jiaqi Li and He Zhang and Tao Yu and Qiu Shen and Xun Cao},
  journal= {arXiv preprint arXiv:2606.26741},
  year   = {2026}
}