FedMCSA：基于模型组件自注意力的个性化联邦学习
机器学习
2022-08-24 v1
摘要
联邦学习（FL）使多个客户端能够在不共享其私有数据的情况下联合训练机器学习模型。然而，客户端的非独立同分布（Non-IID）数据给 FL 带来了严峻挑战。现有的个性化 FL 方法严重依赖于将完整模型作为一个基本单元的默认处理方式，忽视了不同层对客户端 Non-IID 数据的重要性。在本工作中，我们提出了一种新框架——联邦模型组件自注意力（FedMCSA），以处理 FL 中的 Non-IID 数据，其采用模型组件自注意力机制来细粒度地促进不同客户端之间的协作。该机制促进了相似模型组件之间的协作，同时减少了具有较大差异的模型组件之间的干扰。我们进行了大量实验，证明 FedMCSA 在四个基准数据集上优于先前的方法。此外，我们通过实证展示了模型组件自注意力机制的有效性，该机制与现有个性化 FL 互补，并能显著提升 FL 的性能。
引用
@article{arxiv.2208.10731,
title = {FedMCSA: Personalized Federated Learning via Model Components Self-Attention},
author = {Qi Guo and Yong Qi and Saiyu Qi and Di Wu and Qian Li},
journal= {arXiv preprint arXiv:2208.10731},
year = {2022}
}
备注
The first submission of this work is to AAAI2022 in 20210829. Now the new submission for review