一种基于梯度与损失联合的聚类联邦学习设计
机器学习
2023-11-27 v1
摘要
本文提出了一种新颖的聚类联邦学习（FL）框架，使具有非独立同分布数据的分布式边缘设备能够以分布式方式独立形成若干簇，并在每个簇内实施 FL 训练。具体而言，我们设计的聚类 FL 算法必须克服与 FL 训练相关的两个挑战。首先，服务器具有有限的 FL 训练信息（即参数服务器只能获取每个设备的 FL 模型信息）以及有限的计算能力来发现大量设备之间的差异。其次，每个设备没有用于设备聚类的其他设备的数据信息，只能使用从服务器接收的全局 FL 模型参数及其数据信息来确定其簇身份，这将增加设备聚类的难度。为克服这两大挑战，我们提出了一种基于梯度与损失联合的分布式聚类方法，其中每个设备考虑梯度相似性和训练损失来确定其簇身份。所提出的聚类方法不仅考虑一个设备的本地 FL 模型对每个簇的贡献，还考虑梯度下降的方向，从而提高了聚类速度。通过将聚类决策委托给边缘设备，每个设备可充分利用其私有数据信息来确定自身簇身份，从而降低聚类开销并改善整体聚类性能。仿真结果表明，与现有基线相比，我们提出的聚类 FL 算法可将聚类迭代次数减少多达 99%。
引用
@article{arxiv.2311.13665,
title = {A Joint Gradient and Loss Based Clustered Federated Learning Design},
author = {Licheng Lin and Mingzhe Chen and Zhaohui Yang and Yusen Wu and Yuchen Liu},
journal= {arXiv preprint arXiv:2311.13665},
year = {2023}
}