变换器学习动力学中的低维执行流形：模块算术任务中的证据

我们通过仔细控制的模块算术任务，探讨了高参数化 transformer 模型学习动力学的几何结构。我们的主要发现表明，尽管在高维参数空间中进行操作（$d=128$），transformer 训练轨迹会迅速坍缩到维数为 $3$--$4$ 的低维执行流形上。这种维数坍缩在随机种子和适度任务难度下都具有鲁棒性，尽管该流形在参数空间中的方向随运行而异。我们证明，这种几何结构支撑了Several经观察到的现象：(1) 注意力集中出现作为沿执行流形中路由坐标饱和的结果；(2) SGD 交换子在训练早期与执行子空间优先对齐（高达 $10\times$ 随机基线），且 $>92\%$ 的非对称性局限于正交 staging 方向，随着训练收敛而减小；(3) 稀疏自编码器捕获辅助路由结构，但无法隔离执行本身，该执行仍分布在低维流形中。我们的结果表明，一种统一的几何框架可用于理解变换器学习，其中绝大多数参数用于吸收优化干扰，而核心计算发生在 dramatically 缩减的子空间中。这些发现对可解释性、训练课程设计以及理解神经网络学习中超参数化的作用具有深远含义。