跨域对齐揭示人类模式: 护士是蓝色而象牙是橄榄球
计算与语言
2024-05-24 v1 人工智能
机器学习
摘要
跨域对齐指将一个概念从一个领域映射到另一个领域。例如,“如果一位医生是一种颜色,它会是什么颜色?”。这看似古怪的任务旨在探讨人类如何通过类别之间的映射来代表具体和抽象概念,并对这些映射进行推理。本文将这一任务从认知科学领域迁移到评估大型语言模型 (LLM) 的概念化和推理能力。我们通过给出跨域映射任务的提示来检验多个 LLM,并在总体和个体水平上分析其响应。此外,我们评估了模型对其预测进行推理的能力,通过分析和分类这些映射的解释。结果显示,人类与模型的映射和解释在多个方面存在相似性,表明模型在概念表示方面类似于人类。这种相似性不仅体现在模型表示上,也体现在其行为上。此外,模型大多数情况下会提供有效的解释,并部署与人类类似的推理路径。
引用
@article{arxiv.2405.14863,
title = {A Nurse is Blue and Elephant is Rugby: Cross Domain Alignment in Large Language Models Reveal Human-like Patterns},
author = {Asaf Yehudai and Taelin Karidi and Gabriel Stanovsky and Ariel Goldstein and Omri Abend},
journal= {arXiv preprint arXiv:2405.14863},
year = {2024}
}
备注
CogSci