Muon 中谱正交化的预条件化效益
机器学习
2026-01-21 v1 人工智能
最优化与控制
机器学习
摘要
Muon 优化器是一种利用梯度谱正交化的矩阵结构化算法，它是大语言模型预训练中的一个里程碑。然而，Muon 的底层机制——尤其是梯度正交化的作用——仍缺乏深入理解，很少有工作提供严格解释其在具体应用中优势的端到端分析。我们通过两个案例研究迈出一步，探讨 Muon 简化变体的有效性：矩阵分解与线性 Transformer 的上下文学习。对于这两个问题，我们证明了简化版 Muon 呈线性收敛，且迭代复杂度与相关条件数无关，可证明地优于梯度下降与 Adam。我们的分析表明，Muon 动力学在谱域中解耦为一组独立的标量序列，每个序列表现出相似的收敛行为。我们的理论形式化了由谱正交化引发的预条件化效应，为理解 Muon 在这些矩阵优化问题及潜在更广泛领域中的有效性提供了深刻见解。
引用
@article{arxiv.2601.13474,
title = {Preconditioning Benefits of Spectral Orthogonalization in Muon},
author = {Jianhao Ma and Yu Huang and Yuejie Chi and Yuxin Chen},
journal= {arXiv preprint arXiv:2601.13474},
year = {2026}
}