FedMuon：通过矩阵正交化加速联邦学习
机器学习
2025-11-03 v1 人工智能
摘要
联邦学习(Federated Learning, FL)的核心瓶颈在于通信轮次。也就是说，如何实现更有效的本地更新对于减少通信轮次至关重要。现有 FL 方法仍主要使用元素级本地优化器(Adam/SGD)，忽视了权重矩阵的几何结构。这常常导致在本地更新期间放大权重中病态方向，导致条件数恶化和收敛速度变慢。因此，我们在本地引入 Muon 优化器，其具有矩阵正交化以优化矩阵结构参数。实验结果表明，在独立同分布(IID)设置下，本地 Muon 显著加快了 FL 的收敛速度，并比本地 SGD 和本地 AdamW 减少通信轮次。然而，在非 IID 设置下，独立的矩阵正交化基于每个客户的本地分布会导致强烈的客户漂移。将 Muon 应用于非 IID FL 面临重大挑战：(1) 客户端 preconditioner 导致客户漂移；(2) 矩初始化。为解决这些挑战，我们提出一种新型联邦 Muon 优化器(FedMuon)，该优化器包含两个关键技术：(1) 动量聚合，其中客户端使用聚合动量进行本地初始化；(2) 本地-全局对齐，其中本地梯度与全局更新方向对齐，以显著减少客户漂移。理论上，我们证明了 FedMuon 在不依赖异构性假设的情况下实现线性加速收敛，其中 S 为每轮参与客户端数，K 为本地迭代次数，R 为总通信轮次。实证上，我们在语言和视觉模型上验证了 FedMuon 的有效性。与多个基线方法相比，FedMuon显著减少通信轮次并提高测试准确率。
引用
@article{arxiv.2510.27403,
title = {FedMuon: Accelerating Federated Learning with Matrix Orthogonalization},
author = {Junkang Liu and Fanhua Shang and Junchao Zhou and Hongying Liu and Yuanyuan Liu and Jin Liu},
journal= {arXiv preprint arXiv:2510.27403},
year = {2025}
}