FedRDMA：通过分块RDMA传输实现通信高效的跨孤岛联邦大语言模型
机器学习
2024-03-05 v1 分布式、并行与集群计算
网络与互联网体系结构
摘要
通信开销是联邦学习（FL）中的一个显著瓶颈，随着AI模型规模的增大，这一问题愈发突出。在本文中，我们提出了FedRDMA，一个通信高效的跨孤岛FL系统，它将RDMA集成到FL通信协议中。为了克服RDMA在广域网（WAN）中的局限性，FedRDMA将更新后的模型划分为多个块，并设计了一系列优化技术来提高基于RDMA的通信效率和鲁棒性。我们在工业联邦学习框架之上实现了FedRDMA，并在真实的跨孤岛FL场景中进行了评估。实验结果表明，与传统的基于TCP/IP的FL系统相比，该系统在通信效率上可实现高达3.8倍的加速。
引用
@article{arxiv.2403.00881,
title = {FedRDMA: Communication-Efficient Cross-Silo Federated LLM via Chunked RDMA Transmission},
author = {Zeling Zhang and Dongqi Cai and Yiran Zhang and Mengwei Xu and Shangguang Wang and Ao Zhou},
journal= {arXiv preprint arXiv:2403.00881},
year = {2024}
}
备注
under review