RoboCodeX: 面向机器人行为合成的多模态代码生成
机器人学
2024-02-27 v1 人工智能
计算机视觉与模式识别
摘要
机器人行为合成——理解多模态输入并生成精确的机器人物理控制的问题——是具身AI的重要组成部分。尽管多模态大语言模型在高层次理解方面取得了成功，但如何将这些概念理解转化为详细的机器人动作并在各种场景中实现泛化仍然具有挑战性。在本文中，我们提出了一种树状结构的多模态代码生成框架，用于通用机器人行为合成，称为RoboCodeX。RoboCodeX将高层次的人类指令分解为多个以物体为中心的操作单元，这些单元包含物理偏好（如可供性和安全约束），并应用代码生成来引入跨各种机器人平台的泛化能力。为了进一步增强将概念和感知理解映射到控制命令的能力，我们收集了专门的多模态推理数据集用于预训练，并引入了迭代自更新方法用于监督微调。大量实验表明，RoboCodeX在四种不同操作任务和一种导航任务的模拟器和真实机器人上均达到了最先进的性能。
引用
@article{arxiv.2402.16117,
title = {RoboCodeX: Multimodal Code Generation for Robotic Behavior Synthesis},
author = {Yao Mu and Junting Chen and Qinglong Zhang and Shoufa Chen and Qiaojun Yu and Chongjian Ge and Runjian Chen and Zhixuan Liang and Mengkang Hu and Chaofan Tao and Peize Sun and Haibao Yu and Chao Yang and Wenqi Shao and Wenhai Wang and Jifeng Dai and Yu Qiao and Mingyu Ding and Ping Luo},
journal= {arXiv preprint arXiv:2402.16117},
year = {2024}
}