时变 D2D 网络上感知连接性的半去中心化联邦学习
分布式、并行与集群计算
2023-07-24 v2
摘要
半去中心化联邦学习将联邦模型训练传统的设备到服务器（D2S）交互结构与本地化的设备到设备（D2D）通信相融合。我们于实际边缘网络上研究此架构，其中多个 D2D 簇建模为时变有向通信图。我们的研究得出一种算法，可调控（a）模型训练过程朝全局优化器收敛的速率，与（b）全局聚合所需 D2S 传输次数之间的根本权衡。具体而言，在我们的半去中心化方法中，D2D 一致性更新基于封装簇内连接性的列随机权重矩阵注入联邦平均框架。为导出算法，我们展示了当前全局模型的期望最优性间隙如何依赖于加权邻接矩阵（进而依赖于密度）的最大两个奇异值。继而我们推导了这些奇异值关于 D2D 簇节点度的紧界，并借此表达式设计参与任意给定全局聚合轮次的客户端数量阈值，以确保期望收敛速率。在真实数据集上的仿真表明，依据连接结构与学习任务，我们所提感知连接性算法相较基线显著降低了达到目标精度所需的总通信开销。
引用
@article{arxiv.2303.08988,
title = {Connectivity-Aware Semi-Decentralized Federated Learning over Time-Varying D2D Networks},
author = {Rohit Parasnis and Seyyedali Hosseinalipour and Yun-Wei Chu and Mung Chiang and Christopher G. Brinton},
journal= {arXiv preprint arXiv:2303.08988},
year = {2023}
}
备注
10 pages, 5 figures. This paper has been accepted to ACM-MobiHoc 2023