MineDojo：基于互联网规模知识构建开放式具身智能体
机器学习
2022-11-23 v2 人工智能
计算与语言
计算机视觉与模式识别
摘要
自主智能体在 Atari 游戏和围棋等专门领域取得了巨大进展。然而，它们通常在孤立环境中从零开始学习，目标有限且由人工构思，因而无法跨广泛任务和能力的泛化。受人类在开放世界中持续学习与适应的启发，我们主张构建通用智能体的三大要素：1）支持多种任务和目标的環境，2）大规模多模态知识库，3）灵活可扩展的智能体架构。我们介绍 MineDojo，一个基于流行游戏 Minecraft 构建的新框架，其特色是一个包含数千种多样开放式任务的仿真套件，以及一个包含 Minecraft 视频、教程、维基页面和论坛讨论的互联网规模知识库。利用 MineDojo 的数据，我们提出一种新颖的智能体学习算法，利用大型预训练视频-语言模型作为习得奖励函数。我们的智能体能够解决以自由形式语言指定的多种开放式任务，无需任何人工设计的密集塑造奖励。我们开源了仿真套件、知识库、算法实现和预训练模型（https://minedojo.org），以推动面向通用具身智能体目标的研究。
引用
@article{arxiv.2206.08853,
title = {MineDojo: Building Open-Ended Embodied Agents with Internet-Scale Knowledge},
author = {Linxi Fan and Guanzhi Wang and Yunfan Jiang and Ajay Mandlekar and Yuncong Yang and Haoyi Zhu and Andrew Tang and De-An Huang and Yuke Zhu and Anima Anandkumar},
journal= {arXiv preprint arXiv:2206.08853},
year = {2022}
}
备注
Outstanding Paper Award at NeurIPS 2022. Project website: https://minedojo.org