FedCGD：面向无线联邦学习的集合梯度散度优化调度
机器学习
2025-06-10 v1 人工智能
分布式、并行与集群计算
摘要
联邦学习（Federated Learning，简称 FL）是一种多个设备协同训练模型的 promising 范式。当应用于无线网络时，两个问题始终影响 FL 的性能，即设备的数据异构性和有限的带宽。许多论文已针对这两个问题探讨了设备调度策略。然而，大多数研究将数据异构性视为单个设备的属性。在本文中，我们证明 FL 的收敛速度受设备级和样本级集合梯度散度（Collective Gradient Divergence，简称 CGD）之和的影响。设备级 CGD 指的是已调度设备组的梯度散度，而非单个设备散度之和。样本级 CGD 受抽样方差的上界限制，该方差与为本地更新调度的总样本数成反比。为求解设备级 CGD 的可解析形式，我们进一步考虑分类问题，将其转化为组分布与全局分布之间加权地球移动距离（Weighted Earth Moving Distance，简称 WEMD）。随后我们提出 FedCGD 算法，通过在多级 CGD 上进行最小化来实现 WEMD 与抽样方差之间的平衡，并在多项式时间内可实现。仿真结果表明，所提策略在 CIFAR-10 数据集上将分类准确率提高最高可达 4.2%，同时调度的设备数量减少 41.8%，且能够灵活切换于减少 WEMD 与减少抽样方差之间。
引用
@article{arxiv.2506.07581,
title = {FedCGD: Collective Gradient Divergence Optimized Scheduling for Wireless Federated Learning},
author = {Tan Chen and Jintao Yan and Yuxuan Sun and Sheng Zhou and Zhisheng Niu},
journal= {arXiv preprint arXiv:2506.07581},
year = {2025}
}