TrasMuon：面向正交化动量优化器的信任区域自适应缩放
机器学习
2026-03-10 v2 人工智能
摘要
Muon 风格的优化器利用 Newton-Schulz (NS) 迭代对更新进行正交化，从而获得常常优于 Adam 系列方法的更新几何。然而，这种正交化会丢弃幅度信息，导致训练对步长超参数敏感且易受高能脉冲的影响。为缓解这一问题，我们引入 TrasMuon (\textbf{T}rust \textbf{R}egion \textbf{A}daptive \textbf{S}caling \textbf{Muon)。 TrasMuon 保持 Muon 的近等距几何，同时通过 (i) 全局 RMS 校准和 (ii) 基于能量的信任区域裁剪来稳定幅度。我们表明，虽然重新引入自适应缩放通常会提高优化效率，但会因高能异常值而加剧不稳定性。TrasMuon 通过基于相对能量比率定义信任区域，将更新限制在稳定区域内。在视觉和语言模型上的经验实验表明，TrasMuon 的收敛速度快于基准方法。此外，无 warmup 阶段的实验确认了 TrasMuon 在稳定性和鲁棒性方面的优势。
关键词
引用
@article{arxiv.2602.13498,
title = {TrasMuon: Trust-Region Adaptive Scaling for Orthogonalized Momentum Optimizers},
author = {Peng Cheng and Jiucheng Zang and Qingnan Li and Liheng Ma and Yufei Cui and Yingxue Zhang and Boxing Chen and Ming Jian and Wen Tong},
journal= {arXiv preprint arXiv:2602.13498},
year = {2026}
}