LEFL：联邦学习中的低熵客户端抽样
机器学习
2024-02-14 v2
摘要
联邦学习（FL）是一种机器学习范式，其中多个客户端利用其私有数据协同优化单个全局模型。由中心服务器维持全局模型，通过一系列训练轮次来协调 FL 训练过程。在每个轮次中，服务器从客户端池中抽样客户端，然后将其最新的全局模型参数发送给进行进一步优化。常规抽样策略实施随机客户端抽样，未能考虑客户端数据分布以出于隐私原因。因此，我们提出了 LEFL，这是一种替代抽样策略，通过对客户端进行一次基于其模型学习的高级特征聚类来执行抽样，同时尊重数据隐私。这使服务器能够在每个轮次中跨簇执行分层客户端抽样。我们表明，使用这一方法抽样的客户端数据集相对于全局数据分布的相对熵较低。因此，FL 训练噪声更小，显著改善了全局模型的收敛性，其中一些实验的最佳收敛提升可达 7.4%。此外，它还显著减少了实现目标准确度所需的通信轮次。
引用
@article{arxiv.2312.17430,
title = {LEFL: Low Entropy Client Sampling in Federated Learning},
author = {Waqwoya Abebe and Pablo Munoz and Ali Jannesari},
journal= {arXiv preprint arXiv:2312.17430},
year = {2024}
}