HI-TOM：用于评估大语言模型高阶心理理论推理的基准
计算与语言
2023-10-26 v1 人工智能
摘要
心理理论（ToM）是对自身及他人心理状态进行推理的能力。ToM 在智能、语言理解与认知过程的发展中起着关键作用。尽管先前工作主要关注一阶与二阶 ToM，我们探索高阶 ToM，其涉及对他人信念的递归推理。我们引入 HI-TOM，一个高阶心理理论基准。我们使用多种大语言模型（LLM）进行的实验评估表明，其在高阶 ToM 任务上的性能下降，展示了当前 LLM 的局限性。我们对 LLM 的不同失败案例进行了透彻分析，并分享了关于我们的发现对 NLP 未来影响的思考。
引用
@article{arxiv.2310.16755,
title = {HI-TOM: A Benchmark for Evaluating Higher-Order Theory of Mind Reasoning in Large Language Models},
author = {Yinghui He and Yufan Wu and Yilin Jia and Rada Mihalcea and Yulong Chen and Naihao Deng},
journal= {arXiv preprint arXiv:2310.16755},
year = {2023}
}
备注
Accepted at Findings of EMNLP 2023