面向半同步联邦学习的动态客户端聚类、带宽分配与工作负载优化
分布式、并行与集群计算
2024-03-12 v1
摘要
联邦学习 (FL) 通过使物联网 (IoT) 设备能够在保护数据隐私的同时协同训练模型，革新了协作机器学习。FL 算法主要分为两类：同步和异步。虽然同步 FL 能有效处理落后设备，但可能会损害收敛速度和模型精度。相比之下，异步 FL 允许所有设备参与，但会产生高昂的通信开销和潜在的模型陈旧问题。为了克服这些局限性，半同步 FL 框架引入了基于计算和通信延迟的客户端分层。不同层级的客户端以不同的频率上传其本地模型，从而在缓解落后者问题和降低通信成本之间取得平衡。本文提出了 DecantFed 算法（面向半同步联邦学习的动态客户端聚类、带宽分配和本地训练），这是一种动态解决方案，旨在优化客户端聚类、带宽分配和本地训练工作负载，以最大化数据样本处理率。此外，DecantFed 根据客户端的层级调整其学习率，从而解决模型陈旧问题。该算法在包括 MNIST 和 CIFAR-10 在内的基准数据集上进行了广泛模拟，涵盖了独立同分布 (IID) 和非独立同分布 (non-IID) 场景，表现出卓越的性能。在收敛速度方面，DecantFed 优于 FedAvg 和 FedProx，并且与 FedProx 相比，模型精度提升了至少 28%。
引用
@article{arxiv.2403.06900,
title = {Dynamic Client Clustering, Bandwidth Allocation, and Workload Optimization for Semi-synchronous Federated Learning},
author = {Liangkun Yu and Xiang Sun and Rana Albelaihi and Chaeeun Park and Sihua Shao},
journal= {arXiv preprint arXiv:2403.06900},
year = {2024}
}