表面相似之下：大语言模型在结构溯因后作出合理科学类比
计算与语言
2023-10-11 v2 人工智能
摘要
类比推理在人类认知中扮演着重要角色，使我们能够通过共享关系结构将新概念与熟悉概念相联系。尽管以往研究关注词语类比，本工作指出大语言模型（LLMs）常忽略支撑这些类比的结构，引发对词语类比作为类人认知类比推理能力度量的有效性的质疑。为此，本文引入一项基于认知心理学的类比结构溯因任务，旨在溯因出构成两个系统间类比的结构。为支持该任务，我们建立了名为 SCAR 的基准，包含来自 13 个不同领域的 400 个科学类比，专为评估带结构溯因的类比推理而设计。经验证据凸显了包括 ChatGPT 与 GPT-4 在内的 LLMs 在掌握该任务上持续面临的挑战，表明需未来探索以提升其能力。
引用
@article{arxiv.2305.12660,
title = {Beneath Surface Similarity: Large Language Models Make Reasonable Scientific Analogies after Structure Abduction},
author = {Siyu Yuan and Jiangjie Chen and Xuyang Ge and Yanghua Xiao and Deqing Yang},
journal= {arXiv preprint arXiv:2305.12660},
year = {2023}
}
备注
Accepted to EMNLP 2023 (Findings)