通过多模态基础模型实现的人oid 链式动作推理零样本 loco-manipulation
机器人学
2025-10-07 v3 人工智能
摘要
人oid loco-manipulation 将整个身体的运动与灵巧操作结合起来,是机器人学中的一个根本性挑战。除了整个身体的协调与平衡外,核心难题在于理解人类指令并将其转化为连贯的具身动作序列。最近的基础模型提供了可迁移的多模态表征和推理能力,但现有工作主要局限于单独的 locomotion 或 manipulation,且在人oid 设置下适用性有限。本文提出了Humanoid-COA,这是第一个将基础模型推理与具身链式动作(CoA)机制集成以实现零样本 loco-manipulation的人oid智能体框架。在感知-推理-动作范式中,我们的关键贡献在于推理阶段,该提出的CoA机制通过affordance 分析、空间推理和whole-body action 推理将高层人类指令分解为结构化的 locomotion 和 manipulation 原语序列。在两个人oid机器人Unitree H1-2和G1上,在开放测试区域和公寓环境中的大量实验表明,我们的框架在操作、运动和loco-manipulation任务上显著优于先前的基线方法,实现了对长时段和非结构化情景的稳健泛化。项目页面:https://humanoid-coa.github.io/
引用
@article{arxiv.2504.09532,
title = {Humanoid Agent via Embodied Chain-of-Action Reasoning with Multimodal Foundation Models for Zero-Shot Loco-Manipulation},
author = {Congcong Wen and Geeta Chandra Raju Bethala and Yu Hao and Niraj Pudasaini and Hao Huang and Shuaihang Yuan and Baoru Huang and Anh Nguyen and Mengyu Wang and Anthony Tzes and Yi Fang},
journal= {arXiv preprint arXiv:2504.09532},
year = {2025}
}
备注
website link: https://humanoid-coa.github.io/