语言模型寿命周期中组合性几何特征

凭借语言的组合性，少量语法规则和有限词汇即可生成无限数量的句子。也就是说，语言虽似高维，却可由相对少量自由度解释。一个开放问题是：当代语言模型 (LMs) 是否反映语言由此组合性所赋予的内在简单性？我们从几何视角审视此问题，将数据集的组合性程度与其在语言模型下表示的内在维数 (ID) 相关联，这是一种特征复杂度的度量。我们发现，不仅数据集的组合性程度体现在表示的 ID 中，而且组合性与几何复杂性之间的关系是由于在训练期间学习的语言特征所致。最终，我们的分析揭示了非线性维数与线性维数之间的惊人差异，分别编码了语义和表面层面的语言组合。