利用模型拼接在联邦学习中利用标签倾斜
机器学习
2023-12-19 v2
摘要
联邦学习（FL）已成为一种在不交换原始数据的情况下，在不同数据所有者之间执行深度学习的有前景的解决方案。然而，非独立同分布（non-IID）数据一直是FL中的一个关键挑战，它可能显著降低最终模型的准确性。在不同类型的非独立同分布中，标签倾斜在图像分类和其他任务中既常见又具有挑战性。与大多数先前研究中平均本地模型的做法不同，我们提出了FedConcat，这是一种简单而有效的方法，它将这些本地模型拼接起来作为全局模型的基础，以有效地聚合本地知识。为了减小全局模型的大小，我们采用聚类技术根据客户的标签分布对其进行分组，并在每个集群内协作训练一个模型。我们通过分析深度神经网络的信息瓶颈，从理论上分析了拼接相对于平均的优势。实验结果表明，在各种异构标签倾斜分布设置下，FedConcat比先前最先进的FL方法取得了显著更高的准确性，同时具有更低的通信成本。我们的代码已在https://github.com/sjtudyq/FedConcat上公开。
引用
@article{arxiv.2312.06290,
title = {Exploiting Label Skews in Federated Learning with Model Concatenation},
author = {Yiqun Diao and Qinbin Li and Bingsheng He},
journal= {arXiv preprint arXiv:2312.06290},
year = {2023}
}