Adam 改进 Muon：基于正交化动量的自适应矩估计

高效随机优化通常将在确定性情景下表现良好的更新方向与针对随机扰动的自适应机制相结合。Adam 使用自适应矩估计以提升稳定性，而 Muon 则通过正交化动量利用权重层的矩阵结构，在大型语言模型训练中表现优异。我们提出了新的优化器及其对角线扩展 NAMO 和 NAMO-D，首次以原则方式将正交化动量与基于范数的 Adam 类噪声自适应相集成。NAMO 采用单一自适应步长比例化正交化动量，保持正交性同时在额外计算开销可接受的情况下超越 Muon。NAMO-D 则通过乘以具有受限条目的对角矩阵来实现正交化动量，设计上实现了神经元级噪声自适应，并符合常见的近块状 Hessian 结构。在确定性情境下，我们对两者算法都建立了最优收敛率；在随机情景下，其收敛保证可适应随机梯度的噪声水平。GPT-2 模型的预训练实验表明，NAMO 和 NAMO-D 相较于 AdamW 和 Muon 基线均表现出更佳性能，其中 NAMO-D 通过额外的夹切超参数实现了进一步提升，该参数在保持良好条件更新方向和利用细粒度噪声自适应之间取得平衡。