通过选择有益的局部梯度群加速联邦学习
机器学习
2025-07-04 v1 分布式、并行与集群计算
摘要
联邦学习（Federated Learning, FL）是通信网络系统中的一种分布式机器学习框架。然而，系统的非独立同分布（Non-IID）数据会对全局模型的收敛效率产生负面影响，因为只有部分数据样本对模型收敛有益。为了寻找这部分样本，一种可靠的方法是确定一个有效性度量来对数据集中的样本进行排序。本文提出 BHerd 策略，通过选择一组有益的局部梯度来加速 FL 模型的收敛。具体而言，我们将局部数据集的分布映射到局部梯度上，并利用 Herding 策略获得梯度集合的一个排列，其中排列中更靠前的梯度更接近梯度集合的均值。这些位于顶部的梯度将被选出并发送至服务器进行全局聚合。我们通过构建原型系统，在不同数据集、模型和场景上进行了实验，实验结果表明，我们的 BHerd 策略能有效选择有益的局部梯度，以减轻 Non-IID 数据集带来的影响，从而加速模型收敛。
引用
@article{arxiv.2403.16557,
title = {Accelerating Federated Learning by Selecting Beneficial Herd of Local Gradients},
author = {Ping Luo and Xiaoge Deng and Ziqing Wen and Tao Sun and Dongsheng Li},
journal= {arXiv preprint arXiv:2403.16557},
year = {2025}
}