生成式世界探索器

在部分观测下进行规划是具身智能的一项核心挑战。先前的大多数工作通过开发物理探索环境以更新其对世界状态信念的智能体来应对这一挑战。相比之下，人类可以通过心理探索$\textit{想象}$世界中不可见的部分，并用想象出的观测来$\textit{修正}$其信念。这种更新的信念可以让他们做出更明智的决策，而无需始终对世界进行物理探索。为了实现这种类人能力，我们引入了$\textit{生成式世界探索器 (Generative World Explorer, Genex)}$，这是一个自我中心的世界探索框架，允许智能体在心理上探索大规模 3D 世界（例如城市场景），并获取想象观测以更新其信念。这种更新的信念随后将帮助智能体在当前步骤做出更明智的决策。为了训练$\textit{Genex}$，我们创建了一个合成城市场景数据集 Genex-DB。我们的实验结果表明：(1) $\textit{Genex}$ 能够在大型虚拟物理世界的长时程探索过程中生成高质量且一致的观测；(2) 用生成的观测更新的信念能够指导现有的决策模型（例如 LLM 智能体）制定更好的计划。