基于双边精选的部分类别不相容数据下的联邦学习
机器学习
2024-05-30 v1 分布式、并行与集群计算
摘要
部分类别不相容数据(PCDD)是一种常见却鲜有探索的数据形式，其中每个客户端贡献的是样本的部分类别(而非全部类别)，严重挑战着联邦算法的性能。由于类别不完整，局部目标将与全局目标相矛盾，导致局部缺失类别的角度坍缩问题以及局部存在类别的空间浪费问题。据我们所知，现有方法无法内在地缓解 PCDD 挑战，以在双边视图(全局视图和局部视图)中实现整体性改进。为此，我们借鉴单极等角紧密框架(Simplex ETF)在不平衡数据上的强大泛化能力，提出一种新方法，称为 FedGELA，其中分类器在全局上固定为单极等角紧密框架，同时在局部适应个人分布。从全局而言，FedGELA 为所有类别提供公平且平等的判别能力，避免分类器的不准确更新；而在局部，FedGELA 利用局部缺失类别的空间为局部存在类别提供支持。我们在 various 数据集上进行大量实验，证明 FedGELA 在性能上取得优异成果(平均提高 3.9% 至 FedAvg，1.5% 至最佳基线方法)，并提供了本地和全局收敛保证。源代码可在 https://github.com/MediaBrain-SJTU/FedGELA.git 获取。
引用
@article{arxiv.2405.18972,
title = {Federated Learning with Bilateral Curation for Partially Class-Disjoint Data},
author = {Ziqing Fan and Ruipeng Zhang and Jiangchao Yao and Bo Han and Ya Zhang and Yanfeng Wang},
journal= {arXiv preprint arXiv:2405.18972},
year = {2024}
}