ToM-SSI：基于情境社会交互的心智理论评估
计算与语言
2025-09-17 v2 人工智能
摘要
大多数面向基础模型的现有心智理论（ToM）基准测试依赖于 Sally-Anne 测试的变体，仅提供了对心智理论的极为有限的视角，且忽视了人类社会交互的复杂性。为填补这一空白，我们提出 ToM-SSI：一个专门设计用于测试在富含社会交互与空间动态的环境中心智理论能力的新基准测试。当前的心智理论基准测试仅限于纯文本或二元交互，而 ToM-SSI 是多模态的，包含多达四个智能体在情境化环境中进行通信与移动的群体交互。这种独特的设计使我们首次能够研究混合协作-阻碍设置以及并行推理多个智能体的心理状态，从而捕捉比现有基准测试更广泛的社会认知。我们的评估显示，当前模型的性能仍然严重受限，尤其是在这些新任务上，凸显了未来研究的关键差距。
引用
@article{arxiv.2509.05066,
title = {ToM-SSI: Evaluating Theory of Mind in Situated Social Interactions},
author = {Matteo Bortoletto and Constantin Ruhdorfer and Andreas Bulling},
journal= {arXiv preprint arXiv:2509.05066},
year = {2025}
}
备注
EMNLP 2025 (Main)