回应：大语言模型中的涌现类比推理
计算与语言
2024-05-02 v2 人工智能
摘要
在最近的Nature Human Behaviour论文“大语言模型中的涌现类比推理”（Webb、Holyoak和Lu，2023）中，作者主张“诸如GPT-3的大语言模型已获得一种涌现能力，可为广泛的类比问题找到零样本解。”在本回应中，我们给出了字母串类比的反例。在我们的测试中，GPT-3未能解决原始任务的最简单变体，而人类表现在所有修改版本中始终保持高位。零样本推理是一个非凡主张，需要非凡证据。我们在实验中未见此类证据。为加强诸如零样本推理之类类人推理的主张，本领域亟需发展能够排除数据记忆的方法。
引用
@article{arxiv.2308.16118,
title = {Response: Emergent analogical reasoning in large language models},
author = {Damian Hodel and Jevin West},
journal= {arXiv preprint arXiv:2308.16118},
year = {2024}
}
备注
Response to publication in Nature Human Behaviour titled "Emergent analogical reasoning in large language models," (Webb, Holyoak, and Lu, 2023, arXiv:2212.09196). 14 pages