心智遇机器：揭示GPT-4的认知心理学表现
计算与语言
2023-04-13 v2 人工智能
摘要
认知心理学致力于理解感知、注意、记忆、语言、问题解决、决策与推理。大语言模型（LLMs）正作为强有力的工具涌现，日益能够执行人类水平的任务。近期以GPT-4形式出现的发展及其在复杂人类考试与复杂问题上的成功展示，增强了人们对LLMs将成为完美智能工具的信心。尽管GPT-4报告已展示在一些认知心理学任务上的表现，但仍需通过现有成熟数据集对GPT-4进行全面评估。本研究聚焦于评估GPT-4在一组认知心理学数据集（如CommonsenseQA、SuperGLUE、MATH和HANS）上的表现。在此过程中，我们理解GPT-4如何处理并将认知心理学与上下文信息相整合，从而洞察使其生成回复能力得以实现的底层认知过程。我们表明，相较于先前SOTA模型，GPT-4在认知心理学任务上展现出高水平准确率。我们的结果强化了已有的评估及对GPT-4认知心理学能力的信心。它具有革新AI领域的重大潜力，使机器能够弥合人类与机器推理之间的鸿沟。
引用
@article{arxiv.2303.11436,
title = {Mind meets machine: Unravelling GPT-4's cognitive psychology},
author = {Sifatkaur Dhingra and Manmeet Singh and Vaisakh SB and Neetiraj Malviya and Sukhpal Singh Gill},
journal= {arXiv preprint arXiv:2303.11436},
year = {2023}
}