面向非IID数据的联邦学习：局部关系增强与全局纳什均衡联合方法
机器学习
2023-08-24 v1 人工智能
计算机科学与博弈论
摘要
联邦学习（FL）是一种需要服务器与一系列持有去中心化数据的客户端协作的分布式机器学习范式。为使FL在真实应用中有效，现有工作致力于改进对非独立同分布（non-IID）去中心化数据的建模。在non-IID设定下，存在源于不平衡数据建模的客户端内不一致性，以及异构客户端分布间的客户端间不一致性，这不仅阻碍了对少数类数据的充分表示，也带来了差异化的模型偏差。然而，以往工作忽视了同时解决上述两种耦合的不一致性。在本文中，我们提出FedRANE，其由局部关系增强（LRA）与全局纳什均衡（GNE）两个主要模块构成，以同时化解客户端内与客户端间不一致性。具体而言，在各客户端中，LRA挖掘不同数据样本间的相似关系，并利用注意力消息传递以邻近样本增强少数类样本表示。在服务器端，GNE在客户端到服务器的不一致且差异化的模型偏差间达成共识，促使全局模型朝全局最优方向更新，而不破坏各客户端朝向其局部最优的优化。我们在四个基准数据集上开展了大量实验，以展现FedRANE在提升non-IID数据下FL性能方面的优越性。
引用
@article{arxiv.2308.11646,
title = {Joint Local Relational Augmentation and Global Nash Equilibrium for Federated Learning with Non-IID Data},
author = {Xinting Liao and Chaochao Chen and Weiming Liu and Pengyang Zhou and Huabin Zhu and Shuheng Shen and Weiqiang Wang and Mengling Hu and Yanchao Tan and Xiaolin Zheng},
journal= {arXiv preprint arXiv:2308.11646},
year = {2023}
}
备注
To appear in ACM International Conference on Multimedia (ACM MM23)