PFL-MoE：基于专家混合的个性化联邦学习
机器学习
2021-01-01 v1 分布式、并行与集群计算
摘要
联邦学习（FL）是一种新兴的分布式机器学习范式，它避免训练节点间的数据共享以保护数据隐私。在 FL 服务器的协调下，每个客户端使用自身的计算资源和私有数据集进行模型训练。通过聚合客户端的训练结果可构建全局模型。为应对高度非独立同分布（non-IID）的数据分布，个性化联邦学习（PFL）被提出，通过允许每个客户端学习个性化模型来提升整体性能。然而，个性化模型的一个主要缺陷是泛化能力的损失。为在保持泛化的同时实现模型个性化，本文提出一种名为 PFL-MoE 的新方法，其通过 MoE 架构混合个性化模型与全局模型的输出。PFL-MoE 是一种通用方法，可通过集成现有 PFL 算法来实例化。特别地，我们提出 PFL-MF 算法，它是基于冻结基 PFL 算法的 PFL-MoE 实例。我们进一步通过增强 MoE 门控网络的决策能力改进 PFL-MF，并提出变体算法 PFL-MFE。我们在 Fashion-MNIST 和 CIFAR-10 数据集上以非独立同分布划分训练 LeNet-5 和 VGG-16 模型，验证了 PFL-MoE 的有效性。
引用
@article{arxiv.2012.15589,
title = {PFL-MoE: Personalized Federated Learning Based on Mixture of Experts},
author = {Binbin Guo and Yuan Mei and Danyang Xiao and Weigang Wu and Ye Yin and Hongli Chang},
journal= {arXiv preprint arXiv:2012.15589},
year = {2021}
}
备注
10 pages, 5 figures, conference