FedGroup：基于分解数据驱动度量的高效聚类联邦学习
摘要
联邦学习（FL）使多个参与设备能够在本地保留训练数据的同时，协作贡献于一个全局神经网络模型。与集中式训练设定不同，FL 的非独立同分布且不均衡（统计异质性）训练数据分布在联邦网络中，这将增大局部模型与全局模型间的分歧，进而降低性能。本文提出一种新颖的聚类联邦学习（CFL）框架 FedGroup，其中我们 1）基于客户端优化方向间的相似性对客户端训练分组以获得高训练性能；2）构建一种新的数据驱动距离度量以提升客户端聚类过程的效率；3）基于辅助全局模型实现新设备冷启动机制，以增强框架的可扩展性与实用性。FedGroup 可通过将联合优化划分为子优化组来取得改进，并可与 FL 优化器 FedProx 结合。我们分析了收敛性与复杂度以证明所提框架的效率。我们还在多个开放数据集上评估了 FedGroup 与 FedGrouProx（与 FedProx 结合），并与相关 CFL 框架比较。结果显示，相较于 FedAvg，FedGroup 在 FEMNIST 上绝对测试准确率显著提升 +14.1%；相较于 FedProx 在 Sentiment140 上提升 +3.4%；相较于 FeSEM 在 MNIST 上提升 +6.9%。
引用
@article{arxiv.2010.06870,
title = {FedGroup: Efficient Clustered Federated Learning via Decomposed Data-Driven Measure},
author = {Moming Duan and Duo Liu and Xinyuan Ji and Renping Liu and Liang Liang and Xianzhang Chen and Yujuan Tan},
journal= {arXiv preprint arXiv:2010.06870},
year = {2024}
}
备注
This work will be presented at IEEE International Symposium on Parallel and Distributed Processing with Applications (ISPA) 2021. NOTE: This revision contains a crucial correction of the client cold start mechanism, please discard all previous manuscripts