Transformer 中的损失景观简并与阶段性发展

深度学习涉及在神经网络参数空间的高维损失景观中导航。在训练过程中，神经网络内部形成并重新形成复杂的计算结构，导致输入/输出行为的转变。揭示支配神经网络结构和行为发展的原理是深度学习科学的优先事项。借鉴奇异学习理论的框架，我们提出模型的发展与损失景观局部几何中的简并深度相关。我们通过在整个训练过程中监测损失景观简并（由局部学习系数量化）来研究这种联系，对象包括一个 Transformer 语言模型和一个上下文线性回归 Transformer。我们表明，训练可以划分为损失景观简并发生变化的多个不同时期，并且这些简并的变化与 Transformer 的内部计算结构和输入/输出行为的重大变化相吻合。这一发现提供了简并与发展在 Transformer 中相互关联的启示性证据，突显了基于简并的视角在理解现代深度学习方面的潜力。