大规模支持 D2D 的雾网络上多阶段混合联邦学习
网络与互联网体系结构
2022-02-15 v5 机器学习
摘要
联邦学习已引起极大关注，几乎所有工作都聚焦于“星型”拓扑，其中节点/设备各自连接至中心服务器。我们脱离该架构，并通过网络维度将其扩展至终端设备与服务器之间存在多层节点的情形。具体而言，我们提出多阶段混合联邦学习（MH-FL），一种层内与层间模型学习的混合方法，将网络视为多层基于聚类的结构。MH-FL 考虑聚类中节点间的拓扑结构，包括通过设备到设备（D2D）通信形成的本地网络，并假定一种半去中心化的联邦学习架构。它以协作/合作方式（即利用 D2D 交互）编排不同网络层的设备，以在模型参数上形成本地共识，并将其与树形层级各层间的多阶段参数中继相结合。我们推导了 MH-FL 相对于网络拓扑参数（如谱半径）与学习算法参数（如不同聚类中的 D2D 轮数）的收敛上界。我们获得一组针对不同聚类 D2D 轮数的策略，以保证有限的优化差距或收敛至全局最优。随后我们为 MH-FL 开发了一种分布式控制算法，随时间调节各聚类的 D2D 轮数以满足特定收敛准则。我们在真实数据集上的实验验证了分析结论，并展示了 MH-FL 在资源利用指标方面的优势。
引用
@article{arxiv.2007.09511,
title = {Multi-Stage Hybrid Federated Learning over Large-Scale D2D-Enabled Fog Networks},
author = {Seyyedali Hosseinalipour and Sheikh Shams Azam and Christopher G. Brinton and Nicolo Michelusi and Vaneet Aggarwal and David J. Love and Huaiyu Dai},
journal= {arXiv preprint arXiv:2007.09511},
year = {2022}
}
备注
This paper is accepted for publication in IEEE/ACM Transactions on Networking