面向双臂人形机器人的 proprioception-aware 本体感知规划
机器人学
2025-10-16 v2
摘要
近年来，多模态大语言模型(MLLM)已显示出作为高级规划器的能力，使机器人能够遵循复杂的人类指令。然而，尤其是在涉及双臂人形机器人的长期任务中，其效果仍有限。这种限制源于两个主要挑战：(i)缺乏系统性支持任务评估和数据收集的人形机器人仿真平台，以及 (ii)当前 MLLM 的 embodiment awareness 不足，阻碍了在规划时对双臂选择逻辑和身体位置进行推理。为此，我们提出 DualTHOR，一个新的双臂人形仿真器，具备连续转换和应急机制。基于此平台，我们提出 Proprio-MLLM，通过融合 proprioceptive information with motion-based position embedding and a cross-spatial encoder 来增强 embodiment awareness。实验表明，虽然现有 MLLM 在该环境中表现不佳，但 Proprio-MLLM 在规划性能上实现了平均提高 19.75%。我们的工作为人形机器人领域的具身智能提供了必不可少的仿真平台和有效的模型。代码已在 https://anonymous.4open.science/r/DualTHOR-5F3B 上提供。
引用
@article{arxiv.2510.07882,
title = {Towards Proprioception-Aware Embodied Planning for Dual-Arm Humanoid Robots},
author = {Boyu Li and Siyuan He and Hang Xu and Haoqi Yuan and Xinrun Xu and Yu Zang and Liwei Hu and Junpeng Yue and Zhenxiong Jiang and Pengbo Hu and Börje F. Karlsson and Yehui Tang and Zongqing Lu},
journal= {arXiv preprint arXiv:2510.07882},
year = {2025}
}