OmniToM：通过显式信念建模对 LLM 进行理论心智基准测试

理论心智 (Theory of Mind, ToM) ——即推断他人知识、意图和情感的能力 ——通常通过大语言模型 (LLM) 中的端点问答进行评估，仅凭对社会推理查询的最终答案来判断性能。这一范式掩盖了模型是否实际构建了实现稳健推理所必需的底层心智状态表示，特别是在涉及差异化、演变或错误信念的情境中。在解决这个研究空白方面，我们引入 OmniToM，一个直接评估这些表示的基准，通过要求对叙事中所有相关行为者的信念结构进行显式建模来实现。这些结构由信念命题组成：关于行动者对世界或他人心智状态的基本真理陈述的最小语句，这使知识、意图、情感和错误信念能够以统一格式进行分析。在两个阶段对模型进行评估：阶段 1：信念提取，从故事中提取与其社会动态相关的信念；阶段 2：信念标记，为每个信念分配一个涵盖递归顺序、真实性、知识获取、显式性、内容类型、心智来源和情境七维模式标签的标签。OmniToM 基于现有 ToMBench 故事语料库中的 895 个故事构建，并通过人类校准的 LLM 辅助标注管道添加了 22,343 个已标注信念命题。在零样本评估中，OmniToM 揭示了一种行为者特定的信念跟踪瓶颈：当前 LLM 在将叙事事实转化为行动者信念和共享心智状态所需的知识获取和表示决策方面存在挑战。