Muon 优化器的收敛界限与关键批次大小
机器学习
2025-11-24 v4
摘要
Muon 是一种最近提出的优化器，利用神经网络参数的内在矩阵结构，已展现出强大的经验性能，表明其有潜力取代诸如 AdamW 等标准优化器。本文提供理论分析以支持其实际应用。我们对 Muon 在四种实际场景下的收敛性进行了证明，系统性地检验其在是否包含 Nesterov 动量和权重衰减的情况下的行为。我们的分析涵盖使用两种技术的标准配置，从而阐明了其实际性能。随后，我们证明添加权重衰减可获得更严格的理论界限，并阐明了权重衰减系数与学习率之间的相互作用。最后，我们推导出 Muon 的关键批次大小，以最小化训练计算成本。我们的分析识别了控制该值的超参数，并通过包括图像分类和语言建模等工作负载的实验验证了相应的理论发现。
引用
@article{arxiv.2507.01598,
title = {Convergence Bound and Critical Batch Size of Muon Optimizer},
author = {Naoki Sato and Hiroki Naganuma and Hideaki Iiduka},
journal= {arXiv preprint arXiv:2507.01598},
year = {2025}
}