RingFed：在非独立同分布数据上降低联邦学习的通信成本
机器学习
2021-07-20 v1 分布式、并行与集群计算
摘要
联邦学习是一种广泛使用的分布式深度学习框架，它通过交换模型参数而非原始数据来保护每个客户端的隐私。然而，联邦学习面临高通信成本的问题，因为在训练过程中大量模型参数需要被多次传输，使得该方法效率低下，尤其在通信网络带宽受限时。本文提出 RingFed，一种在联邦学习训练过程中降低通信开销的新框架。与原始联邦学习中在中心服务器与各客户端之间传输参数不同，在提出的 RingFed 中，更新后的参数依次在各客户端之间传输，仅将最终结果传至中心服务器，从而大幅降低通信开销。经过若干次本地更新后，客户端首先将参数发送给另一邻近客户端进行预聚合，而非直接发送给中心服务器。在两个不同公开数据集上的实验表明，RingFed 具有快速收敛、高模型精度和低通信成本。
引用
@article{arxiv.2107.08873,
title = {RingFed: Reducing Communication Costs in Federated Learning on Non-IID Data},
author = {Guang Yang and Ke Mu and Chunhe Song and Zhijia Yang and Tierui Gong},
journal= {arXiv preprint arXiv:2107.08873},
year = {2021}
}