大语言模型中的认知效应
人工智能
2024-03-15 v1 计算与语言
摘要
诸如 ChatGPT 的大语言模型（LLM）在过去一年备受关注，现每日被数亿人使用。该技术的快速普及自然引发关于此类模型可能表现出的偏见的疑问。本工作中，我们在一个大语言模型（GPT-3）上测试了一系列认知效应，即通常出现于人类认知任务中的系统性模式。我们发现 LLM 确实易于呈现若干人类认知效应。具体而言，我们展示 GPT-3 表现出启动效应、距离效应、SNARC 效应与大小一致性效应，而锚定效应缺失。我们描述了方法论，特别是将真实世界实验转化为基于文本实验的方式。最后，我们推测 GPT-3 呈现这些效应的可能原因，并探讨其为模仿还是重新发明。
引用
@article{arxiv.2308.14337,
title = {Cognitive Effects in Large Language Models},
author = {Jonathan Shaki and Sarit Kraus and Michael Wooldridge},
journal= {arXiv preprint arXiv:2308.14337},
year = {2024}
}
备注
Accepted and will be published in the ECAI conference