语言模型可能并不理解你：通过情景提示评估心智理论
计算与语言
2026-04-28 v5 人工智能
摘要
我们介绍了 StorySim，这是一个可编程的框架，用于合成生成情景以评估大语言模型（LLM）的心智理论（ToM）和世界建模（WM）能力。与可能因预训练数据中的污染或依赖LLM生成的先前基准不同，StorySim生成新颖且组合化的情景提示，基于高度可控的情景板，从而实现对角色视角和事件的精确操控。我们利用该框架设计了一阶和二阶ToM任务，以及控制心智状态跟踪和建模能力的WM任务。我们的实验在多个LLM上表明，大多数模型在WM任务上的准确率高于ToM任务，且模型倾向于在主体为人而非不可动对象时进行更准确的推理。此外，我们的框架使我们能够发现启发式行为以及对早期情景事件的过度依赖。用于生成数据和评估的所有代码均可免费获取。
引用
@article{arxiv.2506.19089,
title = {Language Models Might Not Understand You: Evaluating Theory of Mind via Story Prompting},
author = {Nathaniel Getachew and Abulhair Saparov},
journal= {arXiv preprint arXiv:2506.19089},
year = {2026}
}
备注
21 pages, 17 figures