面向地理分布式客户端的异步多服务器联邦学习
机器学习
2024-06-21 v2 分布式、并行与集群计算
摘要
联邦学习(FL)系统使多个客户端能够通过同步地与单个服务器交换中间模型权重来迭代训练机器学习模型。这种FL系统的可扩展性受到两个因素的限制：由于同步通信导致的服务器空闲时间以及单个服务器成为瓶颈的风险。在本文中，我们提出了一种新的FL架构，据我们所知，这是第一个完全异步的多服务器FL系统，因此同时解决了这两个限制。我们的解决方案使服务器和客户端都持续活跃。与先前的多服务器方法一样，客户端仅与其最近的服务器交互，确保高效的更新集成到模型中。然而，不同之处在于，服务器也定期异步地相互更新，并且从不推迟与客户端的交互。我们在MNIST和CIFAR-10图像分类数据集以及WikiText-2语言建模数据集上，将我们的解决方案与三个代表性基线——FedAvg、FedAsync和HierFAVG——进行了比较。我们的解决方案收敛到与先前基线相似或更高的准确率水平，并且在地理分布式设置中所需时间减少61%。
引用
@article{arxiv.2406.01439,
title = {Asynchronous Multi-Server Federated Learning for Geo-Distributed Clients},
author = {Yuncong Zuo and Bart Cox and Lydia Y. Chen and Jérémie Decouchant},
journal= {arXiv preprint arXiv:2406.01439},
year = {2024}
}