迈向用于去中心化联邦学习的实用覆盖网络
分布式、并行与集群计算
2024-09-10 v1 网络与互联网体系结构
摘要
去中心化联邦学习（DFL）使用点对点通信来避免联邦学习中的单点故障问题，并被认为是分布式设备上机器学习任务的一种极具吸引力的解决方案。我们提供了 DFL 一个基本网络问题的首个解决方案：DFL 应该使用什么样的覆盖网络来实现高精度模型的快速训练、低通信开销以及去中心化的构建与维护？DFL 的覆盖拓扑已被研究过，但现有的 DFL 拓扑均不包含用于网络构建和拓扑维护的去中心化协议。没有这些协议，DFL 无法在实践中运行。这项工作提出了一种名为 FedLay 的覆盖网络，它为实用的 DFL 提供了快速训练和低通信开销。FedLay 是首个以去中心化方式构建近随机正则拓扑，并在节点加入和故障下维护该拓扑的解决方案。基于原型实现和仿真的实验表明，与现有的 DFL 解决方案相比，FedLay 在真实数据集上实现了最快的模型收敛速度和最高的准确率，同时通信开销较小，且对节点加入和故障具有弹性。
引用
@article{arxiv.2409.05331,
title = {Towards Practical Overlay Networks for Decentralized Federated Learning},
author = {Yifan Hua and Jinlong Pang and Xiaoxue Zhang and Yi Liu and Xiaofeng Shi and Bao Wang and Yang Liu and Chen Qian},
journal= {arXiv preprint arXiv:2409.05331},
year = {2024}
}