在表示空间中消除联邦学习的域偏置
机器学习
2024-12-18 v2 分布式、并行与集群计算
摘要
近年来，联邦学习（FL）因其隐私保护与协作学习能力而广受欢迎。然而，在统计异构场景下，我们观察到客户端上的偏置数据域会导致表示偏置现象，并在本地训练中进一步退化通用表示，即表示退化现象。为解决这些问题，我们提出一种通用框架——联邦学习域偏置消除器（DBE）。我们的理论分析表明，DBE能够促进服务器与客户端之间的双向知识迁移，因为它减小了表示空间中服务器与客户端之间的域差异。此外，在四个数据集上的大量实验表明，DBE能大幅提升现有FL方法的泛化与个性化能力。配备DBE的FL方法可大幅优于十种最先进的个性化FL方法。我们的代码已公开于 https://github.com/TsingZ0/DBE。
引用
@article{arxiv.2311.14975,
title = {Eliminating Domain Bias for Federated Learning in Representation Space},
author = {Jianqing Zhang and Yang Hua and Jian Cao and Hao Wang and Tao Song and Zhengui Xue and Ruhui Ma and Haibing Guan},
journal= {arXiv preprint arXiv:2311.14975},
year = {2024}
}
备注
Accepted by NeurIPS 2023, 24 pages