Muon 在凸 Lipschitz 函数上不收敛
机器学习
2026-05-12 v1 最优化与控制
机器学习
摘要
Muon 及其变体在各种深度学习任务中表现出强大的经验性能。现有的 Muon 收敛分析依赖于光滑性假设，尽管可能最成功的函数类（如 AdaGrad、Shampoo、Schedule-Free 等）已是凸 Lipschitz 函数。在本文中，我们质疑经典凸 Lipschitz 模型是否是理解 Muon 的有用模型。我们的答案是否定的。我们证明无论采用何种学习率方案，Muon 都不收敛于凸 Lipschitz 函数类。我们还表明，误差反馈可恢复 Muon 的收敛性以及所有非欧几里得次梯度方法的动量。然而，这种理论修复会降低 Muon 在 CIFAR-10 图像分类和 nanoGPT 在 FineWeb-Edu 10B 上的语言建模中的性能。我们的结论是，尽管凸 Lipschitz 理论在深度学习方法的设计中占据重要角色，但它并非理解 Muon 最合适的模型。这表明 Muon 的成功必须来自于该模型中缺失的结构，最可能与光滑性有关。
引用
@article{arxiv.2605.08980,
title = {Muon Does Not Converge on Convex Lipschitz Functions},
author = {Tetiana Parshakova and Ahmed Khaled and Michael Crawshaw and Guillaume Garrigos and Robert M. Gower},
journal= {arXiv preprint arXiv:2605.08980},
year = {2026}
}