反事实任务的证据支持大型语言模型中涌现的类比推理能力
计算与语言
2024-05-01 v2 人工智能
摘要
我们最近报告了大型语言模型能够以零样本方式解决各种基于文本的类比问题的证据，表明其具备涌现的类比推理能力。最近的两篇评论对这些结果提出了质疑，它们引用了所谓“反事实”任务的证据，在这些任务中，标准字母表顺序被任意置换，以降低与语言模型训练数据中可能存在的材料的相似性。在此，我们回复这些批评，澄清对我们原始工作中所用测试材料的一些误解，并给出证据表明语言模型也能够泛化到这些新的反事实任务变体。
引用
@article{arxiv.2404.13070,
title = {Evidence from counterfactual tasks supports emergent analogical reasoning in large language models},
author = {Taylor Webb and Keith J. Holyoak and Hongjing Lu},
journal= {arXiv preprint arXiv:2404.13070},
year = {2024}
}