论 Muon 在联邦学习中的可证明优势
机器学习
2025-10-07 v1 机器学习
摘要
最近引入的优化器 Muon 因其在广泛应用范围内的卓越性能而受到关注。然而，其在联邦学习场景下的有效性尚未探讨。为填补这一空白，本文考察 Muon 在联邦学习中的表现。具体而言，我们提出了新算法 FedMuon，并建立了其非凸问题的收敛率分析。我们的理论分析揭示了 FedMuon 的多项有利特性。特别是，由于其正交化更新方向，FedMuon 的学习率与问题相关参数无关且尤其重要的是，其能自然适应重尾噪声。广泛的神经网络架构实验验证了所提算法的有效性。
引用
@article{arxiv.2510.03866,
title = {On Provable Benefits of Muon in Federated Learning},
author = {Xinwen Zhang and Hongchang Gao},
journal= {arXiv preprint arXiv:2510.03866},
year = {2025}
}