Plancraft：用于评估 LLM 智能体规划能力的数据集
计算与语言
2025-07-16 v2 人工智能
摘要
我们提出 Plancraft，这是一个用于评估 LLM 智能体的多模态评估数据集。Plancraft 具备文本-only 和多模态界面，基于 Minecraft crafting 界面。我们包含 Minecraft Wiki 以评估工具使用和检索增强生成（RAG），以及手工设计的规划器和 Oracle 检索器，以消融现代智能体架构的不同组件。为评估决策能力，Plancraft 还包括一部分本意不可解的示例，提供了一个真实挑战，要求智能体不仅完成任务，还要决定它们是否本可解。我们对 both open-source 和 closed-source LLMs 进行基准测试，并比较其性能与效率与手工设计的规划器。总体而言，我们发现 LLMs 和 VLMs 在 Plancraft 引入的规划问题上表现不佳，并提出改进其能力的建议。
引用
@article{arxiv.2412.21033,
title = {Plancraft: an evaluation dataset for planning with LLM agents},
author = {Gautier Dagan and Frank Keller and Alex Lascarides},
journal= {arXiv preprint arXiv:2412.21033},
year = {2025}
}