Muon 优化器加速 Grokking 现象

本文探讨了不同优化器对 grokking 现象影响，后者表现为模型出现延迟泛化。我们在七个数值任务（主要为模块算术）上进行实验，采用现代 Transformer 架构。实验配置系统性地变更优化器（Muon 与 AdamW）和 softmax 激活函数（标准 softmax、stablemax 和 sparsemax），以评估其对学习动力学的综合影响。我们的实证评估表明，Muon 优化器（其特点为使用谱范数约束和二阶信息）显著加速了 grokking 的发生相对于广泛使用的 AdamW 优化器。具体而言，Muon 将所有配置下的平均 grokking 纪元从 153.09 降低到 102.89，差异在统计上显著（t = 5.0175, p = 6.33e-08）。这表明优化器选择在促进从记忆到泛化的转换方面起到了关键作用。