FedReMa: 通过利用最相关客户端提升个性化联邦学习
机器学习
2024-11-27 v2 分布式、并行与集群计算
摘要
联邦学习（FL）是一种分布式机器学习范式，通过去中心化计算和周期性模型合成实现全局鲁棒模型，主要关注聚合所有参与客户端数据集的全局模型准确率。个性化联邦学习（PFL）则针对每个客户端定制专属模型，旨在提升客户端个体模型在特定本地数据分布上的准确率。尽管FL和PFL已被广泛采用，但现有FL和PFL工作尚未全面解决类别不平衡问题，这是PFL和FL研究中数据异质性领域最关键的挑战之一。在本文中，我们提出了FedReMa，一种高效的PFL算法，可以通过以下方式解决类别不平衡问题：1）利用自适应客户端间协同学习方法，在训练过程的不同阶段识别并利用不同客户端在不同数据类别上的专长；2）采用不同的聚合方法处理客户端的特征提取器和分类器，选择依据是这些模型组件的不同角色和含义。具体而言，基于我们对客户端间相似性动态的实验发现，我们开发了关键协同学习期（CCP），其中引入了一个名为最大差异分割（MDS）的模块，通过分析客户端分类器logits之间的相似性来评估和管理任务相关性。在CCP之外，我们采用了一种额外的模型聚合方案，利用每个客户端最相关同僚的历史记录来进一步提升个性化稳定性。我们在广泛实验中展示了FedReMa的优越性。
引用
@article{arxiv.2411.01825,
title = {FedReMa: Improving Personalized Federated Learning via Leveraging the Most Relevant Clients},
author = {Han Liang and Ziwei Zhan and Weijie Liu and Xiaoxi Zhang and Chee Wei Tan and Xu Chen},
journal= {arXiv preprint arXiv:2411.01825},
year = {2024}
}
备注
8 pages, 4 figures, accepted by European Conference on Artificial Intelligence (2024 ECAI)