具有协作式D2D局部模型聚合的半去中心化联邦学习
机器学习
2021-10-01 v3 分布式、并行与集群计算
机器学习
摘要
联邦学习已成为一种流行的技术,用于将机器学习(ML)模型训练分布到无线边缘。在本文中,我们提出双时间尺度混合联邦学习(TT-HF),一种半去中心化学习架构,它将用于联邦学习的传统设备到服务器通信范式与用于模型训练的设备到设备(D2D)通信相结合。在TT-HF中,在每个全局聚合间隔内,设备(i)在其各自数据集上执行多次随机梯度下降迭代,以及(ii)通过局部簇内协作式、分布式D2D通信不定期地参与其模型参数的共识过程。借助对梯度多样性的一个新的通用定义,我们正式研究了TT-HF的收敛行为,得到了分布式ML的新的收敛界。我们利用收敛界开发了一种自适应控制算法,随时间调整TT-HF的步长、D2D通信轮数和全局聚合周期,以 targeting 次线性收敛率O(1/t),同时最小化网络资源利用。我们随后的实验表明,在本地设备数据集呈现统计异质性的不同场景中,TT-HF在模型准确率和/或网络能耗方面显著优于当前联邦学习的最优方法。最后,我们的数值评估展示了对由衰落信道引起的中断的鲁棒性,以及在不凸损失函数下的良好性能。
引用
@article{arxiv.2103.10481,
title = {Semi-Decentralized Federated Learning with Cooperative D2D Local Model Aggregations},
author = {Frank Po-Chen Lin and Seyyedali Hosseinalipour and Sheikh Shams Azam and Christopher G. Brinton and Nicolo Michelusi},
journal= {arXiv preprint arXiv:2103.10481},
year = {2021}
}
备注
This paper has been published in IEEE Journal on Selected Areas in Communications (JSAC)