谱平坦化是灯塔所需的：正交化如何控制学习率与收敛
机器学习
2026-05-14 v1 人工智能
摘要
Muon 在每次更新前对动量缓冲区进行正交化，将其奇异值替换为1，通过Newton-Schulz迭代实现。这一简单的变更使Muon能够容纳更大的学习率，并比其他优化器更快收敛，但原因何在？我们表明，该机制是谱平坦化，并围绕这一点发展出两个结果。首先，我们证明了Muon的最大稳定步长随梯度平均奇异值而非最大奇异值而缩放，这瓶颈了标准梯度下降。其次，我们将Muon重新表述为准引导梯度方法，并在Kronecker分解曲率模型下，表明它改进了有效收敛因子，改进程度由梯度协方差的谱决定。大量实验验证了这两个结果：在前几次迭代中，SGD 的学习率就会导致发散，而Muon 在相同步长下能更早达到准确率里程碑。综上所述，我们的结果为Muon的实证成功提供了原则性、几何解释。
引用
@article{arxiv.2605.13079,
title = {Spectral Flattening Is All Muon Needs: How Orthogonalization Controls Learning Rate and Convergence},
author = {Tien-Phat Nguyen and Truong Nguyen and Minh-Phuc Truong and Tuc Nguyen and James Bailey and Trung Le},
journal= {arXiv preprint arXiv:2605.13079},
year = {2026}
}