分布语义学、整体性与意义的不稳定性
计算与语言
2025-04-04 v2
摘要
大型语言模型建立在所谓的语言意义分布语义学方法之上，该方法以分布假说为核心。分布假说涉及对词汇意义的整体性概念：一个词的意义取决于它与模型中其他词的关系。对整体性的一种标准反对意见是不稳定性指控：语言系统（例如人类说话者）意义属性的任何改变都会导致整个系统发生许多改变或完全改变。我们考察了不稳定性反对意见是否对意义的分布模型构成了问题。首先，我们区分了这些模型可能表现出的不同形式的不稳定性，并论证了只有其中一种形式与理解不稳定性和交流之间的关系相关：我们称之为差异不稳定性。差异不稳定性是指空间中点之间相对距离的变化，而不是这些点绝对位置的变化。我们通过构建两个我们自己的小型语言模型来区分差异不稳定性和绝对不稳定性。我们通过展示这些模型随着其构建语料库规模的增加而发生的变化，论证了这两种形式的不稳定性。我们论证了这些模型表现出的不稳定性受到词间关系的结构和规模的约束，因此一个词对变化的抵抗力大致与其在语言系统内频繁且一致的使用成正比。语言模型表现出的差异不稳定性允许产生性的意义变化形式，同时不会导致不稳定性反对意见所提出的问题。
引用
@article{arxiv.2405.12084,
title = {Distributional Semantics, Holism, and the Instability of Meaning},
author = {Jumbly Grindrod and J. D. Porter and Nat Hansen},
journal= {arXiv preprint arXiv:2405.12084},
year = {2025}
}