从感知到信念：探索大语言模型理论心智 (ToM) 的前驱推断
计算与语言
2024-11-08 v3
摘要
虽然人类天然发展出理论心智 (ToM)，即理解他人心理状态和信念的能力，但当前的大型语言模型 (LLM) 在简单 ToM 基准测试方面表现不佳。我们认为可以通过评估人类 ToM 关键前驱——感知推断和感知到信念推断——来扩展对 LLM ToM 能力的理解。我们引入了两个数据集，Percept-ToMi 和 Percept-FANToM，用于评估 LLM 在感知推断方面的能力。我们的评估覆盖八个最先进的 LLM，结果显示这些模型在感知推断方面通常表现良好，但在感知到信念推断方面能力有限（例如缺乏抑制控制）。基于这些结果，我们提出了 PercepToM，这是一种新颖的 ToM 方法，利用 LLM 强大的感知推断能力，同时补充其有限的感知到信念推断能力。实验结果表明，PercepToM 显著提升了 LLM 的性能，尤其在虚假信念情境中效果更佳。
引用
@article{arxiv.2407.06004,
title = {Perceptions to Beliefs: Exploring Precursory Inferences for Theory of Mind in Large Language Models},
author = {Chani Jung and Dongkwan Kim and Jiho Jin and Jiseon Kim and Yeon Seonwoo and Yejin Choi and Alice Oh and Hyunwoo Kim},
journal= {arXiv preprint arXiv:2407.06004},
year = {2024}
}