利用网络化控制变量驯服联邦学习中的梯度方差
机器学习
2023-10-27 v1 人工智能
分布式、并行与集群计算
摘要
联邦学习作为一种去中心化的机器学习方法，面临着通信开销大、收敛慢以及改进不稳定等显著挑战。这些挑战主要源于异构客户端数据分布所导致的梯度方差。为此，我们提出了一种新颖的联邦学习网络化控制变量（FedNCV）框架。我们在 FedNCV 框架中采用 REINFORCE Leave-One-Out（RLOO）作为基本控制变量单元，并在客户端和服务器两端实现。在客户端层面，RLOO 控制变量用于优化本地梯度更新，缓解数据样本引入的方差。一旦传递到服务器，基于 RLOO 的估计器进一步提供无偏且低方差的聚合梯度，从而实现鲁棒的全球更新。这种双侧应用被形式化为复合控制变量的线性组合。我们给出了刻画 FedNCV 中双重控制变量集成的数学表达式，并给出了三项理论结果及相应证明。这一独特的双重结构使 FedNCV 能够应对数据异构与可扩展性问题，从而可能为大规模应用铺平道路。此外，我们在 Dirichlet 分布下 α = 0.1 的六个不同数据集上测试了 FedNCV，并将其性能与六种 SOTA 方法进行了基准比较，证明了其优越性。
引用
@article{arxiv.2310.17200,
title = {Taming Gradient Variance in Federated Learning with Networked Control Variates},
author = {Xingyan Chen and Yaling Liu and Huaming Du and Mu Wang and Yu Zhao},
journal= {arXiv preprint arXiv:2310.17200},
year = {2023}
}
备注
14 pages