星型拓扑之外的联邦学习：基于全局簇采样的本地D2D模型共识
机器学习
2021-09-14 v2 分布式、并行与集群计算
摘要
联邦学习已成为一种流行的将模型训练分布到网络边缘的技术。其学习架构传统上是设备与中心服务器之间的星型拓扑。在本文中，我们提出双时间尺度混合联邦学习（TT-HF），其通过设备到设备（D2D）通信迁移到更分布式的拓扑。在TT-HF中，本地模型训练通过连续梯度迭代在设备上进行，同步过程在两个时间尺度发生：（i）宏观尺度，通过设备-服务器交互进行全局聚合；（ii）微观尺度，通过不同设备簇中的D2D协作共识形成进行本地聚合。我们的理论分析揭示了设备、簇和网络级参数如何影响TT-HF的收敛，并导出一组保证O(1/t)收敛率的条件。实验结果展示了TT-HF相较于最先进联邦学习基线在收敛性和利用率上的提升。
引用
@article{arxiv.2109.03350,
title = {Federated Learning Beyond the Star: Local D2D Model Consensus with Global Cluster Sampling},
author = {Frank Po-Chen Lin and Seyyedali Hosseinalipour and Sheikh Shams Azam and Christopher G. Brinton and Nicolò Michelusi},
journal= {arXiv preprint arXiv:2109.03350},
year = {2021}
}
备注
This paper has been published in IEEE Global Communications Conference 2021 (Globecom). arXiv admin note: substantial text overlap with arXiv:2103.10481