运用认知心理学理解GPT-3
计算与语言
2023-02-22 v1 人工智能
机器学习
摘要
我们运用来自认知心理学的工具研究近期的大语言模型GPT-3。更具体地，我们在文献中一系列典型实验上评估GPT-3的决策、信息搜索、审慎和因果推理能力。我们发现GPT-3的许多行为令人印象深刻：它解决基于情境的任务相似于或优于人类受试者，能够从描述中做出不错决策，在多臂老虎机任务中胜过人类，并展现出基于模型的强化学习特征。然而我们也发现，对基于情境任务的微小扰动可令GPT-3严重偏离，它未展现出定向探索的特征，并且在因果推理任务中惨败。这些结果丰富了我们对当前大语言模型的理解，并为未来运用认知心理学工具研究能力日益增强且不透明的智能体铺平道路。
引用
@article{arxiv.2206.14576,
title = {Using cognitive psychology to understand GPT-3},
author = {Marcel Binz and Eric Schulz},
journal= {arXiv preprint arXiv:2206.14576},
year = {2023}
}