意义嵌入语法：梯度可接受性塑造 LLM 中构造的几何表示
计算与语言
2025-09-10 v2 人工智能
摘要
用法为基础的建构主义 (UCx) 方法认为语言构成一个由学习的形式-意义配对 (构造) 组成的网络，其使用主要取决于其意义或功能，需要对其进行分级和概率化处理。本研究探讨了大型语言模型 (LLM) 的内部表示是否反映了所提议的功能-嵌入式分级性。我们分析了 Pythia-1.4B 中英语双宾 (Double Object, DO) 和介词宾 (Prepositional Object, PO) 两种构造的表示，采用包含 5000 对句子对的数据集，系统变化其对 DO 或 PO 人类评估偏好强度。几何分析表明，两种构造表示之间的可分离性（如能量距离或 Jensen-Shannon 散度衡量）受到梯度偏好强度的系统调制，而该偏好强度取决于句子中词汇和功能属性。也就是说，与那些在两种构造中都可以 equally well 出现的句子相比，每个构造的更具代表性的实例在激活空间中占据更独立的区域。这些结果为 LLM 学习丰富的、意义嵌入式的、分级的构造表示提供了证据，并为在 LLM 中使用几何度量衡表示提供了支持。
引用
@article{arxiv.2507.22286,
title = {Meaning-infused grammar: Gradient Acceptability Shapes the Geometric Representations of Constructions in LLMs},
author = {Supantho Rakshit and Adele Goldberg},
journal= {arXiv preprint arXiv:2507.22286},
year = {2025}
}
备注
6 pages, 3 figures, Accepted for publication at the Second International Workshop on Construction Grammars and NLP at the 16th International Conference for Computational Semantics (IWCS) 2025