FedMuon：基于偏差校正 LMO 优化的联邦学习
机器学习
2025-10-01 v1 最优化与控制
摘要
最近，一种基于线性化最小化预言机（LMO）的新型优化方法 Muon 引起了越来越多的关注，因为它能比 Adam 等现有自适应优化方法更快地训练神经网络。在本文中，我们研究了如何在联邦学习中利用 Muon。我们首先表明，由于 LMO 是一个有偏算子，直接将 Muon 用作 FedAvg 的局部优化器无法收敛到稳定点。随后，我们提出了能够缓解此问题的 FedMuon。我们还分析了近似求解 LMO 对收敛速度的影响，并惊奇地发现，FedMuon 可以在任意次数的 Newton-Schulz 迭代下收敛，而当我们更精确地求解 LMO 时，其收敛速度更快。通过实验，我们证明了 FedMuon 能够超越最先进的联邦学习方法。
引用
@article{arxiv.2509.26337,
title = {FedMuon: Federated Learning with Bias-corrected LMO-based Optimization},
author = {Yuki Takezawa and Anastasia Koloskova and Xiaowen Jiang and Sebastian U. Stich},
journal= {arXiv preprint arXiv:2509.26337},
year = {2025}
}