FLIS：基于推理相似性针对非独立同分布数据分布的聚类联邦学习
机器学习
2022-08-23 v1 分布式、并行与集群计算
摘要
经典的联邦学习方法在参与者存在非独立同分布（Non-IID）数据时会出现显著的性能下降。当每个本地数据集的分布与全局分布差异很大时，每个客户端的本地目标将与全局最优不一致，从而导致本地更新发生漂移。这一现象严重影响客户端的性能。然而，客户端参与联邦学习的主要动机在于获得更好的个性化模型。针对上述的问题，我们提出一种新算法FLIS，该算法利用客户端模型的推理相似性将客户端群体划分为具有可联合训练的数据分布的簇。该框架涵盖了不同用户群体拥有各自目标（学习任务），但通过与同一簇（同一学习任务）中的其他用户聚合数据以执行更高效且个性化的联邦学习的场景。我们给出了实验结果，在CIFAR-100/10、SVHN和FMNIST数据集上展示了FLIS相对于最先进基准的优势。我们的代码见https://github.com/MMorafah/FLIS。
引用
@article{arxiv.2208.09754,
title = {FLIS: Clustered Federated Learning via Inference Similarity for Non-IID Data Distribution},
author = {Mahdi Morafah and Saeed Vahidian and Weijia Wang and Bill Lin},
journal= {arXiv preprint arXiv:2208.09754},
year = {2022}
}