关于 Muon 的收敛性分析
机器学习
2026-04-15 v2 信息论
机器学习
math.IT
最优化与控制
摘要
神经网络中的大多数参数自然地表示为矩阵。然而，最常用的优化器在优化过程中将这些矩阵参数视为展平的向量，可能忽略了其固有的结构特性。最近，一种名为 Muon 的优化器被提出，专门用于优化矩阵结构参数。大量实验证据表明，Muon 在训练神经网络时能显著优于传统优化器。尽管如此，对 Muon 收敛行为及其优越性能背后原因的理论理解仍然有限。在本工作中，我们对 Muon 及其与梯度下降（GD）的比较进行了全面的收敛速率分析。我们刻画了 Muon 能够优于 GD 的条件。我们的理论结果表明，Muon 可以受益于 Hessian 矩阵的低秩结构，这是实际神经网络训练中广泛观察到的现象。我们的实验结果支持并印证了这些理论发现。
引用
@article{arxiv.2505.23737,
title = {On the Convergence Analysis of Muon},
author = {Wei Shen and Ruichuan Huang and Minhui Huang and Cong Shen and Jiawei Zhang},
journal= {arXiv preprint arXiv:2505.23737},
year = {2026}
}