Muon 并非特别：随机或反向谱在优化中同样有效

Muon 优化器的近期实证成功重新激发了对非欧几里得优化的兴趣，这通常以与二阶方法和线性最小化 oracle (LMO) 理论的相似性来论证。在本文中，我们通过三个贡献挑战了这种几何叙事，表明精确的几何结构并非影响优化性能的关键因素。首先，我们引入了 Freon，这是一系列基于 Schatten (准)范数的数学优化器，由一种新型的、可证明最优的 QDWH 基于迭代逼近驱动。Freon 天然地在 SGD 与 Muon 之间进行插值，同时在准范数区域中平滑地外推。实验表明，针对 GPT-2 的最佳 Schatten 参数严格位于准范数区域，因此无法被表示为任何单位不变 LMO。其次，鉴于 Freon 在广泛的指数范围内表现良好，我们引入了 Kaon，这是一个荒谬的数学优化器，用随机噪声取代奇异值。尽管缺乏任何一致的几何结构，Kaon 仍能匹配 Muon 的性能并保留经典收敛保证，证明严格遵循精确几何在实际中是不相关的。最后，既然我们已表明几何并非性能的主要驱动因素，我们表明它实际上由两种局部量控制：对齐度和下降潜力。最终，每个优化器都必须在这两种量周围调整步长。虽然它们的动态难以先验预测，但在随机特征模型中评估它们可提供精确见解：Muon 的成功并非通过追踪理想的全局几何，而是通过保证步长的最优性。