FedCliP：基于客户端剪枝的联邦学习
机器学习
2023-01-31 v2 人工智能
密码学与安全
网络与互联网体系结构
摘要
现有的高效通信联邦学习（FL）框架通常利用模型梯度压缩或模型蒸馏。然而，参与客户端不均衡的本地数据分布（无论是数量还是质量上）对全局模型训练的贡献并不等同，这对这些工作仍然构成了巨大挑战。在本文中，我们提出了 FedCliP，一种新型的高效通信 FL 框架，它通过自适应地学习哪些客户端应在后续模型训练中保持活跃，并剪枝那些贡献潜力较小的非活跃客户端，从而实现更快的模型训练。我们还引入了一种替代优化方法，并使用新定义的贡献得分度量来促进活跃与非活跃客户端的判定。我们在 IID 和 non-IID 设置下的三个基准数据集上进行了大量实验，实证评估了 FL 框架的通信效率。数值结果表明，所提出的 FedCliP 框架优于 SOTA FL 框架，即 FedCliP 在 MNIST 数据集上可节省 70% 的通信开销且仅有 0.2% 的准确率损失，在 FMNIST 和 CIFAR-10 数据集上分别节省 50% 和 15% 的通信开销且准确率损失小于 1%。
关键词
引用
@article{arxiv.2301.06768,
title = {FedCliP: Federated Learning with Client Pruning},
author = {Beibei Li and Zerui Shao and Ao Liu and Peiran Wang},
journal= {arXiv preprint arXiv:2301.06768},
year = {2023}
}
备注
9 pages, 3 figures, 3 tables