基于灰色关联分析的非独立同分布联邦学习客户端选择优化
分布式、并行与集群计算
2024-01-25 v3
摘要
联邦学习（FL）是一种为隐私敏感数据应用设计的新型分布式学习框架。在不共享数据的情况下，FL 在各设备上训练本地模型，并通过模型聚合在服务器上构建全局模型。然而，为降低通信成本，每轮训练的参与者被随机选取，这在数据与设备异构性下显著降低了训练效率。为解决此问题，本文引入一种新方法，考虑设备的数据分布与计算资源来选取每轮训练的客户端。我们提出的方法基于灰色关联分析（GRA）理论，通过考虑各客户端的可用计算资源、训练损失与权重散度进行客户端选择。为检验所提方法的可用性，我们使用 Python 的 TensorFlow 库在亚马逊云服务（AWS）上实现我们的贡献。我们通过改变学习率、网络规模、所选客户端数量与客户端选择轮次，在不同设置下评估算法性能。评估结果显示，与最先进方法联邦平均（federated averaging）和 Pow-d 相比，我们提出的算法在测试精度与平均客户端等待时间方面显著提升性能。
引用
@article{arxiv.2310.08147,
title = {Optimization of Federated Learning's Client Selection for Non-IID Data Based on Grey Relational Analysis},
author = {Shuaijun Chen and Omid Tavallaie and Michael Henri Hambali and Seid Miad Zandavi and Hamed Haddadi and Nicholas Lane and Song Guo and Albert Y. Zomaya},
journal= {arXiv preprint arXiv:2310.08147},
year = {2024}
}