去皮的苹果还会红吗？评估 LLM 在概念组合中的能力——基于属性类型的分析
计算与语言
2025-05-23 v2
摘要
概念组合是一种认知过程，融合基本概念，实现复杂表达的创建。在此过程中，组合的属性（如去皮苹果的白色）可从基本概念中继承，或新产生，或被抵消。然而，现有研究评估的属性有限且未考察生成过程。为填补这一空白，我们引入了包含 1.23 万个标注的“概念组合与属性类型数据集” (CCPT)，其中包含名词短语、属性和属性类型的三元组。使用 CCPT，我们设定三类任务全面评估 LLM 的概念组合能力。我们的主要发现如下：(1) 我们的自动评估指标在评估属性的生成与抵消方面与人类判断高度吻合。(2) 包括 OpenAI 的 o1 在内的 LLM 在生成具有给定新属性的名词短语方面存在困难。(3) 我们提出的方法灵感来自认知心理学模型，用于解释概念之间关系的形成，能在所有生成任务中提升性能。该数据集和实验代码均已公开于 https://github.com/seokwon99/CCPT.git。
引用
@article{arxiv.2502.06086,
title = {Is a Peeled Apple Still Red? Evaluating LLMs' Ability for Conceptual Combination with Property Type},
author = {Seokwon Song and Taehyun Lee and Jaewoo Ahn and Jae Hyuk Sung and Gunhee Kim},
journal= {arXiv preprint arXiv:2502.06086},
year = {2025}
}
备注
NAACL 2025 Oral