FedMoE：基于异构专家混合的个性化联邦学习
机器学习
2024-08-22 v1
摘要
随着大型语言模型（LLM）不断突破人工智能能力的边界，它们对数据的需求也在不断增长。其中许多数据是私有的，分布在边缘设备上，这使得联邦学习（FL）成为微调（即FedLLM）的事实标准。然而，由于客户端之间的异构性，包括不同的数据分布和多样的任务类型，联邦学习面临着重大挑战。为了实现通用的FedLLM，我们用稀疏激活的专家混合（MoE）架构取代了传统的密集模型，该架构的并行前馈网络提供了更大的灵活性。为了使其在资源受限的环境中更加实用，我们提出了FedMoE，一种高效的个性化联邦学习框架，以解决数据异构性问题，为每个客户端构建最优的子MoE，并将知识带回全局MoE。FedMoE由两个微调阶段组成。在第一阶段，FedMoE通过基于观察到的激活模式进行启发式搜索来简化问题，为每个客户端识别出次优的子模型。在第二阶段，这些子模型被分发给客户端进行进一步训练，并通过一种新颖的模块化聚合策略在服务器端进行聚合。同时，FedMoE通过模块化推荐逐步将子模型调整至最优。实验结果表明，我们的方法优于以往的个性化联邦学习方法。
引用
@article{arxiv.2408.11304,
title = {FedMoE: Personalized Federated Learning via Heterogeneous Mixture of Experts},
author = {Hanzi Mei and Dongqi Cai and Ao Zhou and Shangguang Wang and Mengwei Xu},
journal= {arXiv preprint arXiv:2408.11304},
year = {2024}
}