Surfer:基于世界模型的渐进式推理机器人操作框架
机器人学
2024-03-21 v4 人工智能
计算机视觉与模式识别
机器学习
摘要
如何使模型准确理解并遵循自然语言指令,执行符合世界知识的动作,是机器人操作中的关键挑战。这主要包括人类模糊指令推理与物理知识遵循。因此,具身智能体必须具备从训练数据中建模世界知识的能力。然而,现有多数视觉与语言机器人操作方法主要在真实感较低的仿真器和语言设定下运行,且缺乏对世界知识的显式建模。为弥补这一差距,我们引入一种新颖且简洁的机器人操作框架,称为Surfer。它基于世界模型,将机器人操作视为视觉场景的状态转移,并将其解耦为动作与场景两部分。随后,通过对多模态信息中动作与场景预测的显式建模,增强模型在新指令与新场景上的泛化能力。除框架外,我们还基于MuJoCo物理引擎构建了支持完整物理执行的机器人操作仿真器,可自动生成演示训练数据与测试数据,有效降低人力成本。为从语言理解与物理执行方面对机器人操作模型进行全面系统评估,我们还创建了具有渐进式推理任务的机器人操作基准SeaWave,其包含4级渐进式推理任务,可为多模态环境下的嵌入式AI智能体提供标准化测试平台。Surfer在所定义的四级操作任务上平均成功率达54.74%,超越了47.64%的最佳基线性能。
引用
@article{arxiv.2306.11335,
title = {Surfer: Progressive Reasoning with World Models for Robotic Manipulation},
author = {Pengzhen Ren and Kaidong Zhang and Hetao Zheng and Zixuan Li and Yuhang Wen and Fengda Zhu and Mas Ma and Xiaodan Liang},
journal= {arXiv preprint arXiv:2306.11335},
year = {2024}
}