重叠区域下多服务器联邦学习的收敛性研究
分布式、并行与集群计算
2022-08-18 v1
摘要
多服务器联邦学习（FL）被视为解决单服务器FL通信资源受限问题的有前景方案。我们考虑一种典型的多服务器FL架构，其中区域服务器的覆盖范围可能重叠。该架构的关键在于，位于重叠区域的客户端基于所有可访问区域模型的平均模型更新其本地模型，从而实现不同区域服务器间的间接模型共享。由于复杂的网络拓扑，其收敛性分析比单服务器FL更具挑战性。本文首先针对该多服务器FL架构提出一种新颖的MS-FedAvg算法，并在非独立同分布数据集和一般非凸设定下分析其收敛性。由于每个区域服务器中的客户端数量远少于单服务器FL，每个客户端的带宽应足够大以成功与服务器通信训练模型，这意味着全客户端参与可在多服务器FL中运作。此外，我们提供了部分客户端参与方案的收敛性分析，并开发了一种新的有偏部分参与策略以进一步加速收敛。我们的结果表明，三种策略下的收敛结果高度依赖于各区域类型中客户端数量与所有客户端总数之比。大量实验显示出卓越性能并支持了我们的理论结果。
引用
@article{arxiv.2208.07893,
title = {On the Convergence of Multi-Server Federated Learning with Overlapping Area},
author = {Zhe Qu and Xingyu Li and Jie Xu and Bo Tang and Zhuo Lu and Yao Liu},
journal= {arXiv preprint arXiv:2208.07893},
year = {2022}
}