ThreeDWorld 运输挑战：面向物理真实具身 AI 的视觉引导任务与运动规划基准
计算机视觉与模式识别
2021-03-26 v1 人工智能
机器学习
机器人学
摘要
我们引入一个视觉引导且由物理驱动的任务是运动规划基准，称之为 ThreeDWorld 运输挑战。在该挑战中，一个装备有两个 9-DOF 铰接臂的具身智能体在模拟物理家庭环境中随机生成。智能体需要找到散落在房屋周围的一小组物体，拾取它们，并将其运输到期望的最终位置。我们还在房屋周围放置可用作工具以辅助高效运输物体的容器。为完成任务，具身智能体必须规划一系列动作，以在真实物理约束下改变大量物体的状态。我们使用 ThreeDWorld 仿真构建此基准挑战：一个虚拟 3D 环境，其中所有物体都对物理作出响应，并可使用完全物理驱动的导航与交互 API 进行控制。我们在该基准上评估了几种现有智能体。实验结果表明：1）纯 RL 模型在此挑战上表现挣扎；2）基于分层规划的智能体能运输部分物体，但远未解决该任务。我们期望该基准能赋能研究者开发面向物理世界的更智能物理驱动机器人。
引用
@article{arxiv.2103.14025,
title = {The ThreeDWorld Transport Challenge: A Visually Guided Task-and-Motion Planning Benchmark for Physically Realistic Embodied AI},
author = {Chuang Gan and Siyuan Zhou and Jeremy Schwartz and Seth Alter and Abhishek Bhandwaldar and Dan Gutfreund and Daniel L. K. Yamins and James J DiCarlo and Josh McDermott and Antonio Torralba and Joshua B. Tenenbaum},
journal= {arXiv preprint arXiv:2103.14025},
year = {2021}
}
备注
Project page: http://tdw-transport.csail.mit.edu/