让机器人走进家庭
摘要
纵观历史，我们已成功将各类机器集成到家庭中。洗碗机、洗衣机、立式搅拌机和扫地机器人是近期的几个例子。然而，这些机器仅擅长高效完成单一任务。家庭中“通用机器”的概念——一种能够适应并从我们的需求中学习、同时保持成本效益的家用助手——长期以来一直是机器人领域数十年来稳步追求的目标。在这项工作中，我们通过引入 Dobb-E 发起迈向该目标的大规模努力，这是一个经济实惠且通用的通用系统，用于在家庭环境中学习机器人操控。得益于我们用廉价零件和 iPhone 构建的演示收集工具（“The Stick”），Dobb-E 仅需用户示范五分钟便可学习新任务。我们使用 Stick 在纽约市 22 个家庭中收集了 13 小时数据，并训练出 Home Pretrained Representations（HPR，家庭预训练表征）。随后，在一个新颖的家庭环境中，通过五分钟演示和十五分钟 HPR 模型适配，我们展示 Dobb-E 能在 Stretch（市面上易得的移动机器人）上可靠完成任务。在纽约市及周边地区家庭约 30 天的实验中，我们在 10 个家庭中测试系统，共涉及不同环境下的 109 项任务，最终成功率达 81%。除成功率外，我们的实验揭示了实验室机器人中缺失或被忽视的大量独特挑战。这些挑战从强阴影的影响，到非专家用户演示质量的不一。为加速家庭机器人研究，并最终实现每个家庭都有机器人管家，我们在 https://dobb-e.com 开源 Dobb-E 软件栈与模型、我们的数据及硬件设计。
引用
@article{arxiv.2311.16098,
title = {On Bringing Robots Home},
author = {Nur Muhammad Mahi Shafiullah and Anant Rai and Haritheja Etukuru and Yiqian Liu and Ishan Misra and Soumith Chintala and Lerrel Pinto},
journal= {arXiv preprint arXiv:2311.16098},
year = {2023}
}
备注
Project website and videos are available at https://dobb-e.com, technical documentation for getting started is available at https://docs.dobb-e.com, and code is released at https://github.com/notmahi/dobb-e