表示曲率调制大语言模型中的行为不确定性
人工智能
2026-04-28 v1 计算与语言
机器学习
摘要
在自回归大语言模型(LLMs)中，时间平直化提供了一种解释next-token预测目标如何塑造表示的方式的模型。模型学习在各层 progressively平直化输入序列的表示轨迹，可能通过线性外推促进next-token预测。然而，连接该轨迹与token级行为的直接联系一直缺失。我们提供了这样的联系，通过将上下文曲率——即表示轨迹在最近上下文中弯曲程度的几何度量——与next-token熵相关联。在两个模型(GPT-2 XL和Pythia-2.8B)上，上下文曲率与熵相关联，该关系在训练期间出现。扰动实验揭示了选择性依赖性：通过轨迹对齐干预操控曲率可可靠地调制熵，而几何错位的扰动则无效。最后，对表示进行常规化以在训练期间变得更平直，能显著降低token级熵，同时不降低验证损失。这些结果确定轨迹曲率作为一种任务对齐的表示特征，影响LLMs中的行为不确定性。
关键词
引用
@article{arxiv.2604.23985,
title = {Representational Curvature Modulates Behavioral Uncertainty in Large Language Models},
author = {Jack King and Evelina Fedorenko and Eghbal A. Hosseini},
journal= {arXiv preprint arXiv:2604.23985},
year = {2026}
}