语言模型中浮现出类人直觉行为与推理偏差——并在 GPT-4 中消失
计算与语言
2023-10-10 v2 人工智能
机器学习
摘要
大语言模型（LLMs）目前正处于将人工智能系统与人类交流和日常生活交织在一起的最前沿。因此，评估它们涌现的能力极为重要。在本研究中，我们表明 LLMs（最显著的是 GPT-3）表现出与人类直觉惊人相似的行为——以及随之而来的认知错误。然而，具有更高认知能力的 LLMs，特别是 ChatGPT 和 GPT-4，学会了避免陷入这些错误，并以超理性的方式表现。在我们的实验中，我们用认知反射测试（CRT）以及最初为研究人类直觉决策而设计的语义错觉来探测 LLMs。此外，我们探究了类直觉决策倾向的稳固程度。我们的研究表明，用心理学方法研究 LLMs 有潜力揭示未知涌现特质。
引用
@article{arxiv.2306.07622,
title = {Human-Like Intuitive Behavior and Reasoning Biases Emerged in Language Models -- and Disappeared in GPT-4},
author = {Thilo Hagendorff and Sarah Fabi},
journal= {arXiv preprint arXiv:2306.07622},
year = {2023}
}
备注
Overlap with arXiv:2212.05206