使用原型嵌入从LLM中提取概念空间
计算与语言
2025-09-24 v1
摘要
概念空间使用具有认知意义的维度来表示实体和概念，通常涉及感知特征。这种表示在认知科学中被广泛使用，并有望成为可解释 AI 的基石。遗憾的是，它们已被证明极难学习，尽管最近的 LLMs 似乎在很大程度上捕获了所需的感知特征。尽管如此，目前仍缺乏提取相应概念空间的实用方法。虽然存在多种从 LLMs 中提取嵌入的方法，但提取概念空间还需要我们对底层特征进行编码。在本文中，我们提出了一种策略，通过嵌入相应原型（例如非常甜的食物）的描述来编码特征（例如甜度）。为了改进这一策略，我们对 LLM 进行微调，以使原型嵌入与相应的概念空间维度对齐。我们的实证分析发现该方法非常有效。
引用
@article{arxiv.2509.19269,
title = {Extracting Conceptual Spaces from LLMs Using Prototype Embeddings},
author = {Nitesh Kumar and Usashi Chatterjee and Steven Schockaert},
journal= {arXiv preprint arXiv:2509.19269},
year = {2025}
}