MP5：基于主动感知的 Minecraft 多模态开放式具身系统

设计能够以类人方式解决长视距开放世界任务的具身系统是一个长久以来的目标。然而，现有方法通常难以应对由这些任务的逻辑感知分解与上下文感知执行所带来的复合困难。为此，我们引入了 MP5，这是一个构建于极具挑战性的 Minecraft 模拟器之上的开放式多模态具身系统。该系统能够分解可行的子目标，设计复杂的情境感知计划，并执行具身动作控制，同时与目标条件的主动感知方案进行频繁通信。具体而言，MP5 是在多模态大语言模型 (MLLMs) 的最新进展之上开发而成的，该系统被调制为可调度与协作的功能模块，以最终解决预定义的依赖上下文与依赖过程的任务。大量实验证明，MP5 在困难的依赖过程的任务上能够达到 22% 的成功率，在严重依赖上下文的任务上达到 91% 的成功率。此外，MP5 展现出了解决许多完全新颖的开放式任务的卓越能力。