大型语言模型内部表示中词元的几何结构

我们研究了 Transformer 模型中词元嵌入的几何结构与其在下一词元预测中的作用之间的关系。这种联系的一个重要方面涉及经验测度的概念，该测度编码了词元点云在 Transformer 层间的分布，并在平均场相互作用图景中驱动词元表示的演化。我们使用内在维度、邻域重叠度和余弦相似度等度量，跨层对经验测度进行观测性探测。为验证我们的方法，我们将这些度量与一个词元被打乱（从而破坏了句法和语义结构）的数据集进行比较。我们的研究结果揭示了词元嵌入的几何属性与下一词元预测的交叉熵损失之间存在相关性，这意味着损失值较高的提示词，其词元表示位于更高维的空间中。