MrSteve：Minecraft中具备什么-哪里-何时记忆的指令遵循智能体
机器学习
2025-04-14 v5
摘要
通过采用LLM增强的分层方法，在Minecraft等环境中开发通用具身AI取得了重大进展。虽然这些方法将高层规划器与低层控制器相结合显示出前景，但低层控制器由于反复失败而经常成为性能瓶颈。在本文中，我们论证了许多低层控制器失败的主要原因是缺乏情景记忆系统。为解决此问题，我们提出了MrSteve（Memory Recall Steve），一种配备地点事件记忆（PEM）的新型低层控制器，PEM是一种捕获片段中什么、哪里和何时信息的情景记忆。这直接解决了流行的低层控制器Steve-1的主要局限性。与依赖短期记忆的先前模型不同，PEM组织空间和事件数据，使长期任务中的高效回忆和导航成为可能。此外，我们提出了一种探索策略和一种记忆增强的任务求解框架，使智能体能够在探索和任务求解之间基于已回忆的事件交替进行。与现有方法相比，我们的方法显著提升了任务求解和探索效率。我们将在项目页面发布代码和演示：https://sites.google.com/view/mr-steve。
引用
@article{arxiv.2411.06736,
title = {MrSteve: Instruction-Following Agents in Minecraft with What-Where-When Memory},
author = {Junyeong Park and Junmo Cho and Sungjin Ahn},
journal= {arXiv preprint arXiv:2411.06736},
year = {2025}
}
备注
Accepted to ICLR 2025