观点：大语言模型的心理理论基准测试已失效
人工智能
2025-06-13 v4
摘要
我们的论文认为，大多数心理理论基准测试都因无法直接测试大语言模型（LLM）对新伙伴的适应能力而失效。这一问题源于心理理论基准测试对于 LLM 主要受人类心理理论测试方法的启发，陷入了将人类特征归因于 AI 代理的谬误。我们预期人类会在关于情境的各种问题中进行一致的推理过程，但这在当前的 LLM 身上并不成立。大多数心理理论基准测试仅衡量我们所称的字面心理理论：预测他人行为的能力。然而，这种类型的指标只有在代理人表现出自我一致的推理时才具有信息价值。因此，我们提出功能性心理理论的概念：即根据伙伴行为的合理响应在原场景中适应伙伴的能力。我们发现，许多开源 LLM 能够显示出强大的字面心理理论能力，但在功能性心理理论方面似乎 struggles——即便面对极其简单的伙伴策略也是如此。简单来说，强大的字面心理理论表现并不一定意味着强大的功能性心理理论表现，反之亦然。实现功能性心理理论，特别是在与伙伴进行长时间交互后，仍是一个值得在任何有意义的 LLM 心理理论评估中突出呈现的挑战。
引用
@article{arxiv.2412.19726,
title = {Position: Theory of Mind Benchmarks are Broken for Large Language Models},
author = {Matthew Riemer and Zahra Ashktorab and Djallel Bouneffouf and Payel Das and Miao Liu and Justin D. Weisz and Murray Campbell},
journal= {arXiv preprint arXiv:2412.19726},
year = {2025}
}
备注
ICML 2025