FedMS: 基于稀疏激活基础模型混合的联邦学习
机器学习
2023-12-27 v1 分布式、并行与集群计算
摘要
基础模型在自然语言处理、计算机视觉和多模态任务中取得了巨大成功。基础模型拥有大量模型参数，因此在训练过程中需要大量数据来帮助优化模型。联邦学习通过从分散数据中进行协作学习，同时保护客户端的数据隐私，彻底改变了机器学习。尽管基础模型借助联邦学习可以带来巨大好处，但它们面临着严重的计算、通信和统计挑战。在本文中，我们提出了一种新颖的两阶段联邦学习算法，称为FedMS。第一阶段训练一个全局专家，第二阶段训练一个局部专家以提供更好的个性化。我们利用这两个专家构建了一个基础模型混合（MoFM），并设计了一个门控神经网络，其中插入了一个门控适配器，该适配器在第二阶段的每个通信轮次加入聚合。为了进一步适应计算资源有限的边缘计算场景，我们设计了一种新颖的稀疏激活LoRA（SAL）算法，该算法冻结预训练的基础模型参数，在Transformer块中插入低秩适应矩阵，并在训练过程中逐步激活它们。我们进行了大量实验来验证FedMS的有效性，结果表明，在默认设置下，FedMS的性能优于其他SOTA基线高达55.25%。
引用
@article{arxiv.2312.15926,
title = {FedMS: Federated Learning with Mixture of Sparsely Activated Foundations Models},
author = {Panlong Wu and Kangshuo Li and Ting Wang and Fangxin Wang},
journal= {arXiv preprint arXiv:2312.15926},
year = {2023}
}