CFedAvg：在非独立同分布联邦学习中实现高效通信与快速收敛
机器学习
2021-06-15 v1 分布式、并行与集群计算
摘要
联邦学习（FL）是一种流行的分布式学习范式，大量工作节点在不共享其训练数据的情况下联合学习一个模型。然而，由于大规模（深度）学习模型与带宽受限的连接，FL中可能产生高昂的通信成本。本文针对具有非独立同分布（non-i.i.d.）数据集的FL，提出了一种称为CFedAvg的通信高效算法框架，该框架适用于一般的（有偏或无偏）受信噪比（SNR）约束的压缩器。我们分析了CFedAvg在非凸函数下采用恒定与衰减学习率时的收敛速率。CFedAvg算法在恒定学习率下可达到 的收敛速率，意味着随着工作节点数量增加可实现收敛的线性加速，其中 为本地步数， 为总通信轮数， 为工作节点总数。这与无压缩的分布式/联邦学习收敛速率一致，从而在FL中实现了高通信效率且不牺牲学习精度。此外，我们将CFedAvg扩展到具有异构本地步数的情形，允许不同工作节点执行不同数量的本地步数以更好地适应自身情况。一个普遍的有趣观察是，压缩器引入的噪声/方差并不影响非独立同分布FL的整体收敛速率阶数。我们在三个数据集上采用两种不同压缩比的梯度压缩方案验证了CFedAvg算法的有效性。
引用
@article{arxiv.2106.07155,
title = {CFedAvg: Achieving Efficient Communication and Fast Convergence in Non-IID Federated Learning},
author = {Haibo Yang and Jia Liu and Elizabeth S. Bentley},
journal= {arXiv preprint arXiv:2106.07155},
year = {2021}
}