变换器残差流动力学：谱几何与网络拓扑的耦合
机器学习
2026-05-15 v1 人工智能
摘要
大型语言模型虽然非常有能力，但计算如何通过其层仍鲜为人知。日益增长的工作将深度视为离散时间，将残差流视为动力系统，其中每一层的非线性更新具有局部线性描述。然而，先前的分析依赖于标量摘要或近似线性化，导致训练LLM的完整谱几何未知。我们对三种生产规模LLM进行完整的Jacobian特征分解，表明训练在深度上安装了单调谱梯度——从非正交、旋转主导的早期层到接近对称的晚期层——以及累积的低秩瓶颈将扰动引导到残差流有效维度的少数比例。我们的实验表明，这一梯度和维数压缩是学习得到的，而非建构的，当结构化非正交性被移除时， largely 消解。我们进一步表明，图社区的拓扑位置预测Jacobian是否放大或抑制它们，局部算子类型的符号决定了这种关系，而在初始化时不存在这种关系。这些结果绘制了连接扰动传播和压缩到网络功能拓扑的已学习谱几何。
引用
@article{arxiv.2605.14258,
title = {Dynamics of the Transformer Residual Stream: Coupling Spectral Geometry to Network Topology},
author = {Jesseba Fernando and Grigori Guitchounts},
journal= {arXiv preprint arXiv:2605.14258},
year = {2026}
}