学习过程中权重矩阵的DysonBrownian运动与随机矩阵动力学

在训练过程中，机器学习架构中的权重矩阵使用随机梯度下降或其变体进行更新。在本文中，我们采用随机矩阵理论的概念来分析所得的随机矩阵动力学。我们首先演示动力学可一般性地使用DysonBrownian运动描述，导致特征值间的repulsion。随机性程度取决于学习率与 mini-batch大小之比，解释了实验上观察到的线性比例规则。我们在受限玻尔�曼机中验证了此线性比例。随后我们研究了transformer（nanoGPT）中权重矩阵的动力学，追踪从初始特征值的马赫克斯-帕斯尔分布到学习结束时额外结构的组合。