大型语言模型中涌现的类比推理能力
人工智能
2023-08-07 v3 计算与语言
摘要
大型语言模型的最新出现重新引发了关于人类认知能力是否可能在给定足够训练数据的情况下从这类通用模型中涌现的辩论。特别令人感兴趣的是这些模型在没有直接训练的情况下对新颖问题进行零样本推理的能力。在人类认知中，这种能力与通过类比进行推理的能力密切相关。在此，我们对人类推理者和一个大型语言模型（GPT-3 的 text-davinci-003 变体）在一系列类比任务上进行了直接比较，包括一个基于 Raven 标准渐进矩阵规则结构的非视觉矩阵推理任务。我们发现，GPT-3 显示出惊人的抽象模式归纳能力，在大多数设置中匹配甚至超越了人类能力；对 GPT-4 的初步测试表明其性能甚至更好。我们的结果表明，像 GPT-3 这样的大型语言模型已经获得了一种涌现能力，可以为广泛的类比问题找到零样本解决方案。
引用
@article{arxiv.2212.09196,
title = {Emergent Analogical Reasoning in Large Language Models},
author = {Taylor Webb and Keith J. Holyoak and Hongjing Lu},
journal= {arXiv preprint arXiv:2212.09196},
year = {2023}
}
备注
Published at Nature Human Behaviour (2023) https://doi.org/10.1038/s41562-023-01659-w