大型语言模型隐式学习拉直神经句子轨迹以构建自然语言的预测表征

预测即将发生的事件对我们与环境交互的能力至关重要。在下一词预测任务上训练的 Transformer 模型，似乎构建了能够支撑多种下游任务的语言输入表征。但预测目标如何塑造此类表征？受近期视觉领域工作（Henaff 等，2019）启发，我们检验了关于自回归 Transformer 预测表征的一个假设。具体而言，我们检验句子的神经轨迹在通过网络层时是否变得逐渐更直。其核心洞见在于，更直的轨迹应有助于通过线性外推进行预测。我们使用一维曲率度量量化直度，并提出支持轨迹拉直假设的四个发现：i）在训练好的模型中，曲率从网络浅层到深层递减。ii）在下一词预测目标上表现更优的模型展现出更大幅度的曲率下降，表明这种拉直句子轨迹的能力提升可能是更佳语言建模性能的驱动因素。iii）在相同的语言语境下，模型生成的序列比语言语料中观察到的实际续写具有更低的曲率，表明模型偏好以更直的轨迹进行预测。iv）在深层模型层中，句子的平均曲率与平均惊奇度之间存在稳定关系，即轨迹更直的句子其惊奇度也更低。重要的是，未训练的模型未表现出这些行为。综上，这些结果支持了轨迹拉直假设，并为自回归模型内部表征的几何结构如何支撑下一词预测提供了一种可能机制。