AdaMuon：自适应 Muon 优化器
机器学习
2025-12-25 v3
摘要
我们提出了 AdaMuon，一种新型优化器，将元素级自适应与正交更新相结合，用于大规模神经网络训练。AdaMuon 包含两个紧密耦合的机制：(1) 对正交化更新方向上施加元素级二阶动量估计，和 (2) 采用符号稳定的正交更新，其中动量在正交化前先进行符号转换。这两个组件共同实现方差自适应缩放，同时保持稳定的更新几何。此外，AdaMuon 采用与 RMS 对齐的缩放策略，将根均方更新幅度匹配到 Adam，允许直接复用现有的学习率计划，无需额外调参。实验表明，AdaMuon不仅保持稳定性，在大规模场景下还能超过 Adam 超过 40% 的训练效率。
引用
@article{arxiv.2507.11005,
title = {AdaMuon: Adaptive Muon Optimizer},
author = {Chongjie Si and Debing Zhang and Wei Shen},
journal= {arXiv preprint arXiv:2507.11005},
year = {2025}
}
备注
Codes are available at https://github.com/Chongjie-Si/AdaMuon