DynMuon：动动力学谱聚焦视角下的 Muon 方法

近年来，Muon 已成为训练大规模语言模型以及更广泛的 Transformer 模型的主导方法。其核心区别在于，标准梯度下降方法通常使用更新矩阵 $M=U\Sigma V^\top$，而 Muon 使用其极坐标分量 $UV^\top$。本文考虑一类类似 Muon 的更新方法，用 $U\Sigma^p V^\top$ 替代更新矩阵 $M$，其中 $p$ 为某个参数。我们称之为“谱调制”操作，发展了一种理论，用于选择 $p$，其依赖于 (a) 损失函数的局部曲率，(b) 来自随机梯度和标签噪声的噪声，以及 (c) 训练阶段。我们的理论和实验结果揭示了一个被忽视的行为：正 $p$ 有助于早期通过强化高曲率方向并加速信号收缩；轻微负 $p$ 有助于后期通过重新分配更新力度到仍包含有用训练信号的低曲率方向。基于此洞见，我们提出 DynMuon，一种高效的动态谱调制方法，随训练过程动态调度 $p$ 从正数变为轻微负数。跨模型规模、架构和训练设置的大量实验表明，DynMuon 在验证损失方面 consistently 低于 Muon，同时需要 10.6-26.5% 更少的步数即可达到相同目标损失。