Muen 中的无维数 saddle-point 逃逸
机器学习
2026-05-12 v1
摘要
现代大型语言模型（LLM）训练在极端高维景观中的病态平坦鞍点中受到根本性瓶颈。为此挑战，我们分析了新兴 Muon 优化器的鞍点逃逸动力学，证明其对 O(D) 维度诅咒具有韧性，这种诅咒严重困住了元素自适应优化器如 AdamW。通过扩展广义矩阵扰动理论，我们发展了捕捉 Muon 非平衡优化轨迹的理论框架。这种理论机器数学证明，Muon 通过非线性谱 shaping 机制优雅地绕过维度诅咒。在利用鞍点函数微积分和宏观 Cauchy 轮廓积分，我们避免了各向同性噪声假设和 Tracy-Widom 边缘奇异性。我们建立了，结构不一致性安全地将轨迹从正交漂移中隔离，从而实现无维数的鞍点逃逸，并在充分的谱间隙下触发确定性的 O(1) 离散球形喷射。因此，我们为 Muon 提供了一个代数上无维数的逃逸界限，形式化了其非凸优化动力学的底层机制。
引用
@article{arxiv.2605.09331,
title = {Dimension-Free Saddle-Point Escape in Muon},
author = {Yanlin Long and Yufei Gu and Zeke Xie},
journal= {arXiv preprint arXiv:2605.09331},
year = {2026}
}
备注
33 pages, 5 figures. Preprint