在谱范数约束下，Muon 优化器的性能
机器学习
2025-09-30 v2 最优化与控制
机器学习
摘要
在深度学习中，寻求更快的优化算法仍是活跃且重要的研究方向。最近，Muon 优化器 [JJB+24] 展示了有前景的实证性能，但其理论基础尚不明了。本文将这一局限填补，提供对 Muon 的理论分析，将其置于 Lion- 系列优化器 [CLLL24] 中。具体我们表明，Muon 当采用核范数时对应 Lion-，我们利用 Lion- 的理论结果，建立 Muon（带解耦权重衰减）隐式求解一个约束其权重矩阵谱范数的优化问题。这一视角不仅解释了 Muon 的隐式正则化效应，也通过改变凸函数 的选择，导引自然的推广，允许探索更广泛的隐式正则化和受约束优化算法。
引用
@article{arxiv.2506.15054,
title = {Muon Optimizes Under Spectral Norm Constraints},
author = {Lizhang Chen and Jonathan Li and Qiang Liu},
journal= {arXiv preprint arXiv:2506.15054},
year = {2025}
}