DialToM：面向状态驱动对话轨迹预测的心理理论基准
计算与语言
2026-05-29 v2 人工智能
机器学习
摘要
我们引入了 DialToM，一个基于自然人类对话构建的、带有标注的心理理论（Theory of Mind, ToM）基准，采用多项选择评估框架。与近期揭示在合成环境中显式心理状态推断与应用型 ToM 之间存在差距的工作~\cite{gu2024simpletom} 同时，我们建立了一个更严格的“状态驱动诊断探针”，在该探针中，模型必须仅从孤立的心理状态档案出发，在没有对话上下文的情况下，预测与状态一致的对话轨迹。我们的评估揭示了一种系统性的推理不对称性——大语言模型擅长推断心理状态（字面 ToM），但难以利用它们进行社会预测（功能 ToM）。至关重要的是，一位领域专家在此任务上达到了 100% 的准确率，证明了其有效性，并确立了显著的人机能力差距。此外，一个师生推理注入探针显示，建立了领先基线的 Gemini 3 Pro 拥有强大的、可迁移至较弱模型的无上下文预测功能 ToM 能力。DialToM、其评估代码和数据集已在 https://github.com/Stealth-py/DialToM 上公开。
引用
@article{arxiv.2604.20443,
title = {DialToM: A Theory of Mind Benchmark for Forecasting State-Driven Dialogue Trajectories},
author = {Neemesh Yadav and Palakorn Achananuparp and Jing Jiang and Ee-Peng Lim},
journal= {arXiv preprint arXiv:2604.20443},
year = {2026}
}
备注
Submitted to EMNLP 2026