FedADC：具有漂移控制的加速联邦学习
机器学习
2022-05-18 v3 分布式、并行与集群计算
信息论
math.IT
摘要
联邦学习（FL）已成为具有隐私关注的边缘设备间协作学习的事实上的框架。FL 策略的核心是以分布式方式使用随机梯度下降（SGD）。FL 的大规模实现带来了新的挑战，例如将针对 SGD 设计的加速技术纳入分布式设置，以及缓解由于本地数据集非均匀分布引起的漂移问题。这两个问题在文献中已被分别研究；然而，在本文中，我们表明可以使用单一策略解决这两个问题，而无需对 FL 框架做任何重大改动，也不引入额外的计算和通信负载。为实现这一目标，我们提出了 FedADC，这是一种具有漂移控制的加速 FL 算法。我们通过实验说明了 FedADC 的优势。
引用
@article{arxiv.2012.09102,
title = {FedADC: Accelerated Federated Learning with Drift Control},
author = {Kerem Ozfatura and Emre Ozfatura and Deniz Gunduz},
journal= {arXiv preprint arXiv:2012.09102},
year = {2022}
}
备注
Accepted to ISIT 2021