关于Muon收敛性的注记
最优化与控制
2025-06-03 v2
摘要
在这篇注记中，我们考察了一种用于预训练大语言模型（LLMs）的新型优化器，即Muon优化器的收敛性。该优化器与一种特殊的最速下降法密切相关，在这种方法中，更新方向是目标函数在谱范数下的二次近似的极小值点。我们提供了该优化器两个版本的收敛性分析，并讨论了其意义。
引用
@article{arxiv.2502.02900,
title = {A Note on the Convergence of Muon},
author = {Jiaxiang Li and Mingyi Hong},
journal= {arXiv preprint arXiv:2502.02900},
year = {2025}
}