MineAnyBuild：面向开放世界 AI 智能体的空间规划基准测试
人工智能
2025-09-30 v3
摘要
空间规划是空间智能领域的关键部分，要求在空间视角下对物体布局进行理解与规划。具备空间规划能力的 AI 智能体能够更好地适应各种现实应用，包括机器人操作、自动装配、城市规划等。近期的研究尝试构建基准测试以评估多模态大型语言模型 (MLLM) 的空间智能。然而，这些基准测试主要侧重于基于典型视觉问答 (VQA) 形式的空间推理，存在抽象空间理解与具体任务执行之间的鸿沟。在本工作中，我们更进一步构建了一个名为 MineAnyBuild 的综合基准测试，旨在评估开放世界 AI 智能体在 Minecraft 游戏中的空间规划能力。具体而言，MineAnyBuild 要求智能体根据给定的多模态人类指令生成可执行的建筑构建计划。它包含 4,000 个精心策划的空间规划任务，并通过利用丰富的玩家生成内容提供了一种可无限扩展的数据收集范式。MineAnyBuild 通过四个核心支撑维度评估空间规划：空间理解、空间推理、创造力和空间常识。基于 MineAnyBuild，我们对现有的基于 MLLM 的智能体进行了全面评估，揭示了其在空间规划能力上的严重局限性及巨大潜力。我们相信 MineAnyBuild 将为空间智能的评估开辟新途径，并有助于推动具备空间规划能力的开放世界 AI 智能体的进一步发展。
引用
@article{arxiv.2505.20148,
title = {MineAnyBuild: Benchmarking Spatial Planning for Open-world AI Agents},
author = {Ziming Wei and Bingqian Lin and Zijian Jiao and Yunshuang Nie and Liang Ma and Yuecheng Liu and Yuzheng Zhuang and Xiaodan Liang},
journal= {arXiv preprint arXiv:2505.20148},
year = {2025}
}
备注
Accepted by NeurIPS 2025 Datasets and Benchmarks Track