MindGames：用动态认知模态逻辑针对大语言模型的心理理论
计算与语言
2023-11-08 v2 人工智能
摘要
心理理论（ToM）是智能的关键组成部分，但其评估仍是激烈争论的主题。先前研究将人类 ToM 评估应用于自然语言处理模型，或使用人工创建的标准化测试，或使用基于规则的模板。然而，这些方法主要关注简单推理且需进一步验证。在此，我们利用动态认知逻辑来隔离 ToM 的特定组成部分并生成受控问题。我们还引入新的自然语言化技术以用英语自然语言表述这些问题。我们的发现表明，某些语言模型缩放（从 70M 到 6B 以及从 350M 到 174B）并未一致地产生优于随机猜测的结果。尽管 GPT-4 展现出更优的认知推理能力，仍有改进空间。我们的代码与数据集已公开（https://huggingface.co/datasets/sileod/mindgames ， https://github.com/sileod/llm-theory-of-mind ）。
引用
@article{arxiv.2305.03353,
title = {MindGames: Targeting Theory of Mind in Large Language Models with Dynamic Epistemic Modal Logic},
author = {Damien Sileo and Antoine Lernould},
journal= {arXiv preprint arXiv:2305.03353},
year = {2023}
}
备注
Accepted at EMNLP Findings 2023