CALVIN:面向长程机器人操作任务的语言条件策略学习基准
机器人学
2022-07-14 v4 人工智能
计算与语言
计算机视觉与模式识别
机器学习
摘要
与人类共存于环境中的通用机器人必须学会将人类语言与其感知和动作相关联,才能在一系列日常任务中有用。此外,它们需要习得多样化的通用技能库,以便通过遵循无约束的语言指令来组合长程任务。本文提出 CALVIN(Composing Actions from Language and Vision,从语言与视觉组合动作),一个用于学习长程语言条件任务的开源仿真基准。我们的目标是使开发能够从机载传感器出发、仅通过人类语言指定、解决许多机器人操作长程任务的智能体成为可能。CALVIN 任务在序列长度、动作空间与语言方面比现有视觉-语言任务数据集更复杂,并支持传感器套件的灵活指定。我们在零样本泛化到新颖语言指令及新颖环境与物体下评估智能体。我们展示基于多上下文模仿学习的基线模型在 CALVIN 上表现不佳,表明利用该基准开发创新性地学习将人类语言与其世界模型相关联的智能体尚有显著空间。
引用
@article{arxiv.2112.03227,
title = {CALVIN: A Benchmark for Language-Conditioned Policy Learning for Long-Horizon Robot Manipulation Tasks},
author = {Oier Mees and Lukas Hermann and Erick Rosete-Beas and Wolfram Burgard},
journal= {arXiv preprint arXiv:2112.03227},
year = {2022}
}
备注
Accepted for publication at IEEE Robotics and Automation Letters (RAL). Code, models and dataset available at http://calvin.cs.uni-freiburg.de