基于流形重塑的部分类别不相容数据下的联邦学习
机器学习
2024-06-04 v2 分布式、并行与集群计算
摘要
统计异构性严重限制了联邦学习 (FL) 的性能，催生了FedProx、MOON和FedDyn等多项探索以缓解此问题。尽管这些方法有效，但其考虑的场景通常要求每个客户在本地训练期间几乎包含所有类别的样本，尽管各客户之间可能存在协变量漂移。在事实中，每位客户贡献少数几个类别（而非全部类别）的样本的自然情况——部分类别不相容数据 (PCDD)——是实际中常见却鲜有探索的情形。具体而言，PCDD特有的崩溃和入侵特征会诱导本地训练中的偏置优化方向，从而阻碍联邦学习的效率。为此，我们提出一种称为FedMR的流形重塑方法，以校准本地训练的特征空间。FedMR在基础联邦学习框架中添加两种相互作用的损失：一种是 intra-class 损失，用于消除特征维度间的相关性以防止崩溃；另一种是 inter-class 损失，用于保证特征扩展后类别间的适当间隔。我们在多个数据集上进行大量实验，证明FedMR在准确率和通信效率方面均显著优于现有方法。源码已公开：https://github.com/MediaBrain-SJTU/FedMR.git。
引用
@article{arxiv.2405.18983,
title = {Federated Learning under Partially Class-Disjoint Data via Manifold Reshaping},
author = {Ziqing Fan and Jiangchao Yao and Ruipeng Zhang and Lingjuan Lyu and Ya Zhang and Yanfeng Wang},
journal= {arXiv preprint arXiv:2405.18983},
year = {2024}
}