深层学习优化的各向同性曲率模型：梯度正交化是否最优？

本文提出了一种用于分析深层学习优化的模型，针对单个迭代，利用权重矩阵的结构。我们通过假设损失函数在所有扰动方向上的二阶 Hessian 和高阶项曲率各向同性来推导该模型；因此，我们称其为各向同性曲率模型。该模型是一个易于分析的凸优化程序，使我们能够理解以矩阵形式表达的权重更新如何关系到总损失函数的变化。作为应用，我们使用各向同性曲率模型分析最近引入的 Muon 优化器以及其他用于训练语言模型的矩阵梯度方法。首先，我们表明，在损失函数曲率存在一般增长条件下，最优更新矩阵通过使原始梯度矩阵的谱更均匀来获得——即使其奇异值比例更接近——这在 particular 改善了更新矩阵的条件数。接下来，我们表明，当曲率呈现增长相位转变时，正交化梯度对于各向同性曲率模型是最优的。综上所述，这些结果表明，Muon 和其他相关方法中所采用的梯度正交化在方向上是正确的，但可能并非严格最优。最后，我们讨论了如何利用各向同性曲率模型为训练深度学习和语言模型设计新的优化方法的未来研究。