跨孤岛联邦学习中协作结构的优化
机器学习
2023-06-13 v1
摘要
在联邦学习（FL）中，多个客户端协作训练机器学习模型，同时保持数据去中心化。通过利用更多训练数据，FL面临潜在的负迁移问题：全局FL模型甚至可能比仅用本地数据训练的模型表现更差。本文中，我们提出FedCollab，一种新颖的FL框架，基于客户端分布距离与数据量将其聚类为互不重叠的联盟，从而缓解负迁移。因此，每个客户端仅与数据分布相似的客户端协作，且当其数据较少时倾向于与更多客户端协作。我们使用多种数据集、模型与非独立同分布（non-IID）类型评估了我们的框架。结果表明，FedCollab在广泛的FL算法中有效缓解负迁移，并持续优于其他聚类FL算法。
引用
@article{arxiv.2306.06508,
title = {Optimizing the Collaboration Structure in Cross-Silo Federated Learning},
author = {Wenxuan Bao and Haohan Wang and Jun Wu and Jingrui He},
journal= {arXiv preprint arXiv:2306.06508},
year = {2023}
}
备注
Accepted by ICML 2023