大语言模型的准语义能力：一种关于部分-整体关系的案例研究
计算与语言
2025-04-04 v1
摘要
理解\emph{大语言模型}(LLMs)语义能力的范围和深度是当前人工智能(AI)和计算语言学(CL)科学议程的核心议题。我们为此贡献工作通过探讨其对\emph{部分-整体}关系(即\emph{meronymy})的知识,这一关系在词汇组织中发挥关键作用,但正式研究相对不足。我们使用来自ConceptNet关系的数据\citep{speer2016conceptnet}和来自人类生成的语义特征规范的数据\citep{McRae:2005}来探讨LLMs处理\textit{部分-整体}关系的能力。我们采用了基于三个分析水平的方法: i.) \textbf{行为}测试通过提示,我们直接查询模型对meronymy的知识;ii.) \textbf{sentence probability}评分,我们测试模型区分正确(真实)和错误(非对称反事实)部分-整体关系的能力;iii.) \textbf{概念表示}分析在向量空间中,我们证明了\textit{部分-整体}概念在嵌入和解嵌入空间中的线性组织。这些分析呈现出复杂的图景,揭示LLMs对这一关系的知识仅是部分的。它们仅具备``\emph{准语义}''能力,仍不足以捕捉深层推理属性。
引用
@article{arxiv.2504.02395,
title = {The quasi-semantic competence of LLMs: a case study on the part-whole relation},
author = {Mattia Proietti and Alessandro Lenci},
journal= {arXiv preprint arXiv:2504.02395},
year = {2025}
}