STEVE系列：Minecraft中智能体系统的逐步构建

构建以大型语言模型（LLM）为核心的具身智能体系统是一个有前景的方向。由于在现实世界中部署和训练此类智能体成本高昂且存在不可控因素，我们决定在Minecraft环境中开始探索。我们的STEVE系列智能体能够完成虚拟环境中的基本任务，以及更具挑战性的任务，如导航甚至创造性任务，其效率远超先前最先进方法，提升幅度达$2.5\times$至$7.3\times$。我们从使用原始大型语言模型开始探索，通过视觉编码器和基于我们收集的高质量数据集STEVE-21K训练的动作代码库对其进行增强。随后，我们通过添加Critic和记忆模块将其增强为复杂系统。最后，我们构建了一个分层多智能体系统。我们最近的工作探索了如何通过知识蒸馏来精简智能体系统。未来，我们将探索STEVE智能体在现实世界中更多的潜在应用。