大型语言模型是否像儿童一样解决言语类比？
计算与语言
2023-11-01 v1 人工智能
摘要
类比制造处于人类认知的核心。成年人通过映射关系（\textit{被饲养于}）来解决诸如 \textit{马属于马厩如同鸡属于……？} 这样的类比，并回答 \textit{鸡舍}。相比之下，儿童常使用联想，例如回答 \textit{蛋}。本文研究大型语言模型（LLMs）是否以 A:B::C:? 形式使用联想来解决言语类比，类似于儿童的做法。我们使用从一个在线自适应学习环境中提取的言语类比，其中来自荷兰的 14,002 名 7-12 岁儿童用荷兰语解决了 622 个类比。六个受测的荷兰语单语和多语 LLM 表现水平与儿童大致相当，其中 MGPT 表现最差，约相当于 7 岁水平，XLM-V 和 GPT-3 表现最好，略高于 11 岁水平。然而，当我们控制联想过程后，这一情况发生改变，每个模型的表现水平下降 1-2 岁。进一步实验表明，联想过程常常构成正确解决类比的基础。我们得出结论，我们所测试的 LLM 确实倾向于像儿童那样通过基于 C 的联想来解决言语类比。
引用
@article{arxiv.2310.20384,
title = {Do large language models solve verbal analogies like children do?},
author = {Claire E. Stevenson and Mathilde ter Veen and Rochelle Choenni and Han L. J. van der Maas and Ekaterina Shutova},
journal= {arXiv preprint arXiv:2310.20384},
year = {2023}
}