去中心化联邦学习:平衡通信与计算成本
机器学习
2022-02-14 v4 分布式、并行与集群计算
摘要
去中心化随机梯度下降(SGD)是去中心化联邦学习(DFL)的驱动引擎。去中心化 SGD 的性能受节点间通信与本地更新的共同影响。本文提出一个通用的 DFL 框架,其周期性地执行多次本地更新与多次节点间通信,以在通信效率与模型一致性之间取得平衡。该框架可提供一个通用的去中心化 SGD 分析框架。我们在无凸目标假设下为所提 DFL 算法建立了强收敛保证。在资源受限下,DFL 的收敛速率可被优化以实现通信与计算成本的平衡。为提升 DFL 的通信效率,我们将压缩通信作为新方案进一步引入所提 DFL,称为带压缩通信的 DFL(C-DFL)。所提 C-DFL 对强凸目标表现出线性收敛。基于 MNIST 与 CIFAR-10 数据集的实验结果说明了 DFL 相对于传统去中心化 SGD 方法的优越性,并表明 C-DFL 进一步增强了通信效率。
引用
@article{arxiv.2107.12048,
title = {Decentralized Federated Learning: Balancing Communication and Computing Costs},
author = {Wei Liu and Li Chen and Wenyi Zhang},
journal= {arXiv preprint arXiv:2107.12048},
year = {2022}
}