内蕴Muon：黎曼矩阵流形上的谱优化
机器学习
2026-05-12 v1 人工智能
摘要
Muon及相关的范数约束矩阵优化器已成为大规模学习问题的核心。它们在无约束欧几里得空间中被表述为在环境矩阵范数球上的线性最大化预言机（LMO）。然而，这些方法不能干净地推广到流形值参数，如低秩分解、正交约束或对称正定（SPD）矩阵。简单地将Muon LMO限制在切空间上（i）破坏了商对称性，（ii）将切空间约束与环境范数界耦合，从而阻碍了在各种感兴趣的流形上的闭式解。我们用单一观察解决了这两个问题：每个黎曼度量都将酉不变欧几里得范数典范地提升为每个切空间上的内蕴范数，由此产生的内蕴范数约束LMO是保对称的。基于此，我们引入了内蕴Muon（iMuon），一个统一的框架，它为任何酉不变范数（包括谱范数、Frobenius范数和核范数）在固定秩、SPD、Stiefel和Grassmann流形上产生闭式更新。我们为确定性和随机iMuon建立了收敛保证，其速率常数仅取决于流形维度。值得注意的是，在固定秩流形上，该常数仅取决于秩，使得速率与因子条件无关，并消除了先前工作所需的运行时因子重缩放。在LLM的LoRA微调、图像分类和子空间学习上的实验说明了所提出方法的有效性。
引用
@article{arxiv.2605.09238,
title = {Intrinsic Muon: Spectral Optimization on Riemannian Matrix Manifolds},
author = {Yibang Li and Bihari Lal Pandey and Ravi Sah and Andi Han and Cyrus Mostajeran and Pratik Jawanpuria and Bamdev Mishra},
journal= {arXiv preprint arXiv:2605.09238},
year = {2026}
}
备注
Code: https://github.com/1bang118/manifold-intrinsic-muon