FedCross：通过多模型交叉聚合实现精准联邦学习
机器学习
2024-07-08 v2
摘要
作为一种有前景的分布式机器学习范式，联邦学习（FL）因能在不损害用户隐私的前提下解决数据孤岛问题而受到越来越多的关注。通过采用经典的一对多训练方案（即 FedAvg），其中云服务器将单一全局模型分发给多个参与客户端，传统 FL 方法可实现无数据共享的协作模型训练。然而，由于单一全局模型无法始终适配所有局部模型互不兼容的收敛方向，现有 FL 方法在分类准确率上严重受限。为解决该问题，我们提出了一种高效的 FL 框架 FedCross，其基于所提出的多模型交叉聚合方法，采用了一种新颖的多对多 FL 训练方案。与传统 FL 方法不同，在每一轮 FL 训练中，FedCross 使用多个中间件模型分别进行加权融合。由于 FedCross 所用的中间件模型能在损失景观上快速收敛至同一平坦谷底，所生成的全局模型可获得良好的泛化能力。在多个知名数据集上的实验结果表明，与最先进的 FL 方法相比，FedCross 能在 IID 与非 IID 场景下显著提升 FL 准确率，且不带来额外的通信开销。
引用
@article{arxiv.2210.08285,
title = {FedCross: Towards Accurate Federated Learning via Multi-Model Cross-Aggregation},
author = {Ming Hu and Peiheng Zhou and Zhihao Yue and Zhiwei Ling and Yihao Huang and Anran Li and Yang Liu and Xiang Lian and Mingsong Chen},
journal= {arXiv preprint arXiv:2210.08285},
year = {2024}
}