快速收敛的联邦学习
机器学习
2020-11-03 v2 分布式、并行与集群计算
摘要
联邦学习近期已成为一种有前景的解决方案，用于通过现代移动设备网络分发机器学习任务。最近的研究获得了联邦学习每一轮所实现的模型损失期望下降的下界。然而，收敛通常需要大量的通信轮次，这会导致模型训练的延迟并在网络资源方面成本高昂。在本文中，我们提出了一种快速收敛的联邦学习算法，称为 FOLB，它在每轮模型训练中执行智能设备采样以优化期望的收敛速度。我们首先从理论上刻画了如果根据设备的局部模型将为当前全局模型提供的期望改进来选择设备，每轮可以获得的改进下界。然后，我们展示了 FOLB 通过根据梯度信息对设备更新进行加权并均匀采样来获得该下界。FOLB 能够通过根据对设备贡献更新能力的估计来调整聚合，从而处理设备的通信和计算异构性。我们将 FOLB 与现有的联邦学习算法进行了比较评估，并在各种机器学习任务和数据集上实验性地展示了其在训练模型准确性、收敛速度和/或模型稳定性方面的改进。
引用
@article{arxiv.2007.13137,
title = {Fast-Convergent Federated Learning},
author = {Hung T. Nguyen and Vikash Sehwag and Seyyedali Hosseinalipour and Christopher G. Brinton and Mung Chiang and H. Vincent Poor},
journal= {arXiv preprint arXiv:2007.13137},
year = {2020}
}
备注
17 pages