ScienceWorld：你的智能体是否比五年级学生更聪明？

我们提出 ScienceWorld，这是一个基准，用于在一个达到标准小学科学课程水平的新交互式文本环境中测试智能体的科学推理能力。尽管在问答与科学文本处理中看到了基于 transformer 的进展，我们发现当前模型无法在新颖情境中推理或解释已学习的科学概念。例如，模型可以轻松回答已知材料电导率是什么，但当被问及如何在具身环境中进行实验以找出未知材料的电导率时却表现吃力。这引出了一个问题：当前模型仅仅是借助看到大量相似样例来检索答案，还是已经以可复用的方式学会了概念推理。我们假设智能体需要具身于交互式环境中以实现此类推理能力。我们的实验提供了支持该假设的实证证据——表明一个交互式训练 100k 步的 150 万参数智能体，优于一个从数百万专家演示中静态训练用于科学问答与推理的 110 亿参数模型。