FedMoE-DA: 基于领域感知细粒度聚合的联邦混合专家模型
机器学习
2025-09-09 v2 分布式、并行与集群计算
摘要
联邦学习(FL)是一种协作式机器学习方法，使多个客户端能够在无需共享私有数据的情况下训练模型。随着深度学习的兴起，大规模模型因其卓越的性能而备受关注。然而，FL中的一个关键挑战是客户端计算和通信资源受限所带来的限制，这阻碍了这些大型模型的部署。混合专家(MoE)架构凭借其稀疏激活特性解决了这一挑战，该特性在推理和更新过程中减少了计算工作量和通信需求。此外，MoE通过允许每个专家专门处理数据分布的不同子集，促进了更好的个性化。为了减轻服务器与客户端之间的通信负担，我们提出了FedMoE-DA，一种新的FL模型训练框架，该框架利用MoE架构，并融入了一种新颖的领域感知细粒度聚合策略，以同时增强鲁棒性、个性化和通信效率。具体来说，我们利用了客户端内专家模型与客户端间数据异质性之间的相关性。此外，我们利用客户端之间的点对点(P2P)通信进行选择性专家模型同步，从而显著减少了服务器-客户端传输。实验表明，我们的FedMoE-DA在降低服务器通信压力的同时，实现了优异的性能。
引用
@article{arxiv.2411.02115,
title = {FedMoE-DA: Federated Mixture of Experts via Domain Aware Fine-grained Aggregation},
author = {Ziwei Zhan and Wenkuan Zhao and Yuanqing Li and Weijie Liu and Xiaoxi Zhang and Chee Wei Tan and Chuan Wu and Deke Guo and Xu Chen},
journal= {arXiv preprint arXiv:2411.02115},
year = {2025}
}
备注
8 pages, 5 figures, accepted by The 20th International Conference on Mobility, Sensing and Networking (MSN 2024)