用于去中心化联邦学习的高效可靠覆盖网络
网络与互联网体系结构
2022-01-03 v1 分布式、并行与集群计算
机器学习
数值分析
数值分析
摘要
我们提出基于-正则扩展图的近最优覆盖网络，以加速去中心化联邦学习(DFL)并改善其泛化能力。在DFL中，海量客户端由覆盖网络连接，它们在不共享原始数据的情况下协作解决机器学习问题。我们的覆盖网络设计融合了谱图理论以及DFL的理论收敛与泛化界。因此，我们提出的覆盖网络在理论上保证加速收敛、改善泛化并增强DFL对客户端失效的鲁棒性。此外，我们提出一种高效算法，将给定图转换为实用覆盖网络，并在潜在客户端失效后维护网络拓扑。我们在各类基准任务上数值验证了采用我们所提网络的DFL的优势，范围从图像分类到使用数百个客户端的语言建模。
引用
@article{arxiv.2112.15486,
title = {Efficient and Reliable Overlay Networks for Decentralized Federated Learning},
author = {Yifan Hua and Kevin Miller and Andrea L. Bertozzi and Chen Qian and Bao Wang},
journal= {arXiv preprint arXiv:2112.15486},
year = {2022}
}
备注
25 pages, 8 figures