聪明汉斯还是神经心智理论？对大语言模型社会推理能力的压力测试
计算与语言
2023-05-25 v1
摘要
关于 AI 能力的日益升级的争论亟需开发可靠度量以评估机器“智能”。近期，许多轶事例子被用来暗示如 ChatGPT 与 GPT-4 等较新的大语言模型（LLMs）展现出神经心智理论（N-ToM）；然而，先前工作对这些能力得出相互冲突的结论。我们通过在 6 个任务上的广泛评估考察 LLMs 的 N-ToM 程度，发现尽管 LLMs 展现某些 N-ToM 能力，该行为远非稳健。我们进一步考察影响 N-ToM 任务表现的因素，发现 LLMs 在对抗样本上表现不佳，表明其依赖浅层启发式而非稳健的 ToM 能力。我们警示：不应从轶事例子、有限基准测试及使用人为设计的心理学测试来评估模型得出结论。
引用
@article{arxiv.2305.14763,
title = {Clever Hans or Neural Theory of Mind? Stress Testing Social Reasoning in Large Language Models},
author = {Natalie Shapira and Mosh Levy and Seyed Hossein Alavi and Xuhui Zhou and Yejin Choi and Yoav Goldberg and Maarten Sap and Vered Shwartz},
journal= {arXiv preprint arXiv:2305.14763},
year = {2023}
}