当前代理人能否弥合发现-应用间隙？基于Minecraft的案例研究
人工智能
2026-05-21 v2
摘要
发现因果规律并将其应用于构建功能系统——发现-应用循环——是通用智能的标志性特征，但评估这种能力一直受制于科学发现与实际工程之间巨大的复杂性差距。我们引入SciCrafter，一个基于Minecraft的基准测试，通过参数化红石电路任务来操作化这一循环。代理人必须按指定模式点燃灯泡（例如同时点燃或按时间顺序点燃）；规模化的目标参数显著增加建构复杂性和所需知识，从而迫使代理人进行真正的发现，而非依赖记忆中的解决方案。评估包括GPT-5.2、Gemini-3-Pro和Claude-Opus-4.5等前沿模型，采用通用代码代理框架，我们发现所有模型在约26%的成功率上停滞。为诊断这些失败，我们将循环分解为四项能力——知识缺口识别、实验发现、知识巩固和知识应用——并设计针对性干预，其边际贡献作为相应缺口的代理指标。我们的分析表明，尽管通用知识应用能力仍是所有模型中最大的缺口，但对于前沿模型而言，知识缺口识别开始成为主要瓶颈——表明瓶颈正从解决问题正确性转向提出正确问题的能力上。我们将SciCrafter作为诊断探针发布，用于未来研究中评估能够导航完整发现-应用循环的AI系统。
引用
@article{arxiv.2604.24697,
title = {Can Current Agents Close the Discovery-to-Application Gap? A Case Study in Minecraft},
author = {Zhou Ziheng and Huacong Tang and Jinyuan Zhang and Haowei Lin and Bangcheng Yang and Qian Long and Fang Sun and Yizhou Sun and Yitao Liang and Ying Nian Wu and Demetri Terzopoulos and Xiaofeng Gao},
journal= {arXiv preprint arXiv:2604.24697},
year = {2026}
}
备注
Preprint, under review. 41 pages. Project page: https://scicrafter-bench.github.io/. Code: https://github.com/scicrafter-bench/scicraft-bench