RoboMatrix：面向开放世界环境的面向技能的层次化机器人任务规划与执行框架
机器人学
2025-03-26 v3 计算机视觉与模式识别
摘要
现有的机器人策略主要采用任务导向方法，需收集端到端任务数据，导致其对新任务的泛化能力有限，且在长期 horizons 的多阶段任务中难以定位错误。为此，我们提出 RoboMatrix，一个面向开放世界环境的面向技能的层次化框架，用于可扩展的机器人任务规划与执行。RoboMatrix 从多样化的复杂任务中提取通用元技能，能够通过技能组合完成不可见任务。其架构包括：高级调度层利用大语言模型（LLM）进行任务分解、中间技能层 housing 元技能模型，以及低级硬件层用于机器人控制。本文的关键创新点在于引入首个能够无缝集成运动与操作于一体的统一视觉语言动作（VLA）模型，这通过结合视觉和语言提示生成离散动作来实现。实验结果表明，与任务导向基线方法相比，RoboMatrix 在应用于不可见物体、场景和任务时成功率提升 50%。为推进开放世界机器人研究，我们将在 https://github.com/WayneMao/RoboMatrix 上开源代码、硬件设计、模型权重和数据集。
引用
@article{arxiv.2412.00171,
title = {RoboMatrix: A Skill-centric Hierarchical Framework for Scalable Robot Task Planning and Execution in Open-World},
author = {Weixin Mao and Weiheng Zhong and Zhou Jiang and Dong Fang and Zhongyue Zhang and Zihan Lan and Haosheng Li and Fan Jia and Tiancai Wang and Haoqiang Fan and Osamu Yoshie},
journal= {arXiv preprint arXiv:2412.00171},
year = {2025}
}
备注
17 pages, 16 figures