深度大语言模型中的新兴因果几何动力学
机器学习
2026-05-27 v2 人工智能
摘要
对大语言模型(LLM)表示的几何分析揭示了深度上有结构化的变化，但就标记预测的形成仍然根本上是相关性的。而因果干预则暴露出深度相关性的有效性轮廓，却缺乏对其表征动力学的统一阐述。对LLM功能的完整阐述需要解释表征结构如何随深度演变以因果方式产生预测。我们通过结合几何分析与机制干预，将深度变化集中为解释LLM功能的组织轴。我们发现，在解码器-only LLM中，存在从上下文处理向预测形成计算的尖锐转变，伴随着表征几何在各层上的更渐进的重组。这种综合揭示了一种后层几何编码，其中角结构参数化了下一个标记分布的相似性，并实现对预测的选择性因果控制，而表示范数编码的信息与预测 largely 脱钩。总的来说，我们的结果提供了因果与几何视角的综合，为如何通过深度中与控制相关的几何动力学将上下文转化为语言模型中的预测提供了机制性解释。这种视角调和了之前令人困惑的发现，暗示层级功能不能以孤立的方式理解或有效干预，而只能在网络整体新兴动力学结构中理解。
引用
@article{arxiv.2602.04931,
title = {Emergent Causal-Geometric Dynamics Across Depth in Large Language Models},
author = {Shahar Haim and Daniel C McNamee},
journal= {arXiv preprint arXiv:2602.04931},
year = {2026}
}