AMUSE：一种稳定梯度评估的即时 muon

现代深度学习通常依赖带预定义学习率计划的AdamW，但近期工作挑战这两个组成部分：Schedule-Free 优化通过迭代平均消除显式计划，Muon通过对矩阵参数进行正交化来改进更新几何。尽管Muon在实证上表现出色，但其底层机制仍部分未知。我们通过河谷-山谷损失景观研究Muon，其中有用训练进展发生在平坦、低曲率 bulk 子空间（河谷），而高曲率主导方向形成陡峭谷壁导致振荡。我们实证表明，虽然Muon的正交化通过增加 bulk 组件加速河谷进展，但也放大了主导方向噪声导致振荡轨迹。基于此，我们提出 Anytime MUon with Stable gradient Evaluation (AMUSE)，将Muon的快速 bulk 进展与Schedule-Free 平均的稳定作用相结合。AMUSE使用随时间变化的插值系数，最初在快速Muon序列附近评估梯度以实现快速适应，然后逐渐转向稳定平均序列以抑制谷壁振荡。结果显示，AMUSE无需学习率计划，支持即时训练。在视觉任务和大语言模型预训练中，AMUSE consistently improve the performance-iteration Pareto 前沿，优于 (Schedule-Free) AdamW 和 Muon。