联邦学习中的负载均衡
机器学习
2024-08-02 v1 信息论
math.IT
摘要
联邦学习（FL）是一种去中心化的机器学习框架，能够在多个远程设备上从分布式数据中学习，从而提升通信效率与数据隐私。由于通信资源有限，通常会采用调度策略来选择每轮 FL 中参与的部分设备。调度过程面临重大挑战，包括需要公平的工作负载分配、高效的资源利用、在大量边缘设备环境中的可扩展性，以及设备间统计异质的数据分布。本文提出了一种基于信息年龄（Age of Information）的负载度量，并通过最小化客户端间的负载度量方差来应对上述挑战。此外，提出了一种去中心化的马尔可夫调度策略，在消除管理开销的同时确保均衡的工作负载分配，且与网络规模无关。我们建立了马尔可夫链模型的最优参数并通过仿真验证了所提方法。结果表明，降低负载度量方差不仅促进了公平性并提升了运行效率，还增强了学习模型的收敛速率。
引用
@article{arxiv.2408.00217,
title = {Load Balancing in Federated Learning},
author = {Alireza Javani and Zhiying Wang},
journal= {arXiv preprint arXiv:2408.00217},
year = {2024}
}