基于专家混合的鲁棒联邦学习
机器学习
2021-04-26 v1 分布式、并行与集群计算
神经与进化计算
网络与互联网体系结构
摘要
我们提出了一种基于专家混合(MoE)概念的加权平均模型,以在联邦学习(FL)中针对被投毒/损坏/过时的本地模型提供鲁棒性。这些威胁连同数据集的非独立同分布(non-IID)特性会显著削弱 FL 模型的精度。我们提出的 MoE-FL 设置依赖于用户与服务器之间的信任,其中用户与服务器共享其公共数据集的一部分。服务器通过求解优化问题或 Softmax 方法来应用鲁棒聚合方法,以突出离群情况并减少其对 FL 过程的 adverse 影响。我们的实验表明,在攻击者投毒数据比例较高时,MoE-FL 的性能优于传统聚合方法。
引用
@article{arxiv.2104.11700,
title = {Robust Federated Learning by Mixture of Experts},
author = {Saeedeh Parsaeefard and Sayed Ehsan Etesami and Alberto Leon Garcia},
journal= {arXiv preprint arXiv:2104.11700},
year = {2021}
}