通过基础模型迈向通用机器人：综述与元分析
机器人学
2024-10-02 v3 人工智能
计算机视觉与模式识别
机器学习
摘要
构建能够在任何环境中无缝运行、操作任何物体，并利用各种技能完成多样任务的通用机器人，一直是人工智能领域的长期目标。然而，作为一个学术界，我们一直通过为特定任务设计、在特定数据集上训练以及在特定环境中部署来限制大多数机器人系统。这些系统需要大量标注的数据和特定任务的模型。当部署在现实场景中时，此类系统面临若干泛化问题，并且难以在分布偏移下保持鲁棒性。受自然语言处理（NLP）和计算机视觉（CV）等研究领域中网络规模、大容量预训练模型（即基础模型）出色的开集性能和内容生成能力的启发，本综述致力于探索： 适用于通用机器人领域，以及 探索面向机器人的专用基础模型将会是什么形态。我们首先概述了基础模型在机器人中的应用方式，以及使通用机器人普遍适用的根本障碍。接着，我们建立了一个分类体系，以讨论当前探索如何利用现有基础模型用于机器人以及开发专为机器人定制的基础模型的研究。最后，我们讨论了使用基础模型赋能通用机器人系统的关键挑战和有前景的未来方向。我们鼓励读者查看我们维护的 GitHub 资源库，其中包含本综述中评论的论文，以及用于开发机器人基础模型的相关项目和代码库。
引用
@article{arxiv.2312.08782,
title = {Toward General-Purpose Robots via Foundation Models: A Survey and Meta-Analysis},
author = {Yafei Hu and Quanting Xie and Vidhi Jain and Jonathan Francis and Jay Patrikar and Nikhil Keetha and Seungchan Kim and Yaqi Xie and Tianyi Zhang and Hao-Shu Fang and Shibo Zhao and Shayegan Omidshafiei and Dong-Ki Kim and Ali-akbar Agha-mohammadi and Katia Sycara and Matthew Johnson-Roberson and Dhruv Batra and Xiaolong Wang and Sebastian Scherer and Chen Wang and Zsolt Kira and Fei Xia and Yonatan Bisk},
journal= {arXiv preprint arXiv:2312.08782},
year = {2024}
}