Mousse：基于曲率感知预条件的Muon优化器几何修正

最近的谱优化进展，尤其是Muon，已展示出将更新步骤约束在Stiefel流形上可显著加速训练并提升泛化。然而，Muon隐式假设优化 landscape 为各向同性，强制所有特征方向上的谱更新范数均匀。我们认为，这种“平等”约束对深度神经网络并非最优，因为其曲率谱已知具有高度重尾和病态。此类landscape中，Muon风险放大高曲率方向的不稳定性，同时限制了在平坦方向上的必要进展。本文提出Mousse（Muon Optimization Utilizing Shampoo's Structural Estimation），一种新型优化器，融合谱方法的结构稳定性与二阶预条件的几何适应性。Mousse不直接对动量矩阵应用Newton-Schulz正交化，而是在由Shampoo-derived的Kronecker因子统计量诱导的白化坐标系中运作。数学上，我们将Mousse形式化为受各向异性trust region约束的谱最陡下降问题，其中最优更新通过对白化梯度的极分解得出。实验结果表明，Mousse在参数规模从1.6亿至8亿的语言模型上均优于Muon，训练步数约降低12%，而计算开销几乎可忽略不计。