大语言模型是否像人类一样解决 ARC 视觉类比问题？
计算与语言
2024-05-14 v2 人工智能
摘要
抽象推理语料库 (ARC) 是为人类和机器设计的视觉类比推理测试 (Chollet, 2019)。我们比较了人类和大语言模型 (LLM) 在一套新的儿童友好版 ARC 题目上的表现。结果显示，儿童和成年人均在这些任务中超越了大多数 LLM。错误分析揭示了 LLM 和年幼儿童相似的“后备”解决方案策略，即简单复制类比的一部分。在此基础上，我们发现另外两种错误类型：一种基于看似把握关键概念（如 Inside-Outside），另一种基于简单组合类比输入矩阵。总体而言，“概念”类错误在人类中更常见，“矩阵”类错误在 LLM 中更常见。本研究为理解 LLM 推理能力及其如何通过错误分析与人类发展比较来理解 LLM 如何解决视觉类比问题提供了新的视角。
引用
@article{arxiv.2403.09734,
title = {Do Large Language Models Solve ARC Visual Analogies Like People Do?},
author = {Gustaw Opiełka and Hannes Rosenbusch and Veerle Vijverberg and Claire E. Stevenson},
journal= {arXiv preprint arXiv:2403.09734},
year = {2024}
}
备注
Changes (based on CogSci 2024 reviewers): - Shortened Intro - Added a table summarizing children performance across age - Added Theoretical discussion in the Discussion section - Corrected the naming of plots - Small clarifications in the Methods section