HomeRobot：开放词汇移动操作
机器人学
2024-01-11 v2 人工智能
计算机视觉与模式识别
摘要
HomeRobot（名词）：一种经济实惠的柔顺机器人，能够在家庭中导航并操作各种物体，以完成日常任务。开放词汇移动操作（Open-Vocabulary Mobile Manipulation, OVMM）是指在任意未见环境中抓取任意物体并将其放置到指定位置的问题。这是让机器人成为人类环境中有用助手的基础挑战，因为它涉及解决机器人学各领域的子问题：感知、语言理解、导航和操作对 OVMM 均至关重要。此外，这些子问题解决方案的集成本身也带来了重大挑战。为了推动该领域的研究，我们引入了 HomeRobot OVMM 基准，其中智能体在家庭环境中导航以抓取新物体并将其放置在目标容器上。HomeRobot 包含两个组件：一个仿真组件，在全新且高质量的多房间家庭环境中使用大量且多样化的精选物体集；以及一个真实世界组件，为低成本的 Hello Robot Stretch 提供软件栈，以鼓励各实验室复现真实世界实验。我们实现了强化学习和启发式（基于模型）基线，并展示了 sim-to-real 迁移的证据。我们的基线在真实世界中达到了 20% 的成功率；我们的实验指出了未来研究提升性能的方向。请参阅我们网站上的视频：https://ovmm.github.io/。
引用
@article{arxiv.2306.11565,
title = {HomeRobot: Open-Vocabulary Mobile Manipulation},
author = {Sriram Yenamandra and Arun Ramachandran and Karmesh Yadav and Austin Wang and Mukul Khanna and Theophile Gervet and Tsung-Yen Yang and Vidhi Jain and Alexander William Clegg and John Turner and Zsolt Kira and Manolis Savva and Angel Chang and Devendra Singh Chaplot and Dhruv Batra and Roozbeh Mottaghi and Yonatan Bisk and Chris Paxton},
journal= {arXiv preprint arXiv:2306.11565},
year = {2024}
}
备注
37 pages, 22 figures, 8 tables