FediOS：在特征偏斜联邦学习中解耦正交子空间以实现个性化
机器学习
2023-12-01 v1 计算机视觉与模式识别
摘要
个性化联邦学习（pFL）使多个客户端能够协作训练以增强定制本地模型的能力。在 pFL 中，客户端可能具有异构（亦称非独立同分布）数据，这带来一个关键挑战：如何将数据知识解耦为用于全局共享的通用知识以及用于保持本地个性化的个性化知识。pFL 的典型方法关注标签分布偏斜，并采用一种解耦方案，将模型拆分为一个公共特征提取器和两个预测头（通用与个性化）。然而，此类解耦方案无法解决特征偏斜异构的本质问题，因为公共特征提取器不能解耦通用与个性化特征。因此，本文中我们重新思考特征偏斜 pFL 的架构解耦设计，并提出一种有效的 pFL 方法称为 FediOS。在 FediOS 中，我们将解耦重构为两个特征提取器（通用与个性化）和一个共享预测头。客户端使用正交投影将通用特征映射到一个公共子空间，并将个性化特征散布到不同子空间以实现解耦。此外，训练一个共享预测头以在推理时平衡通用与个性化特征的重要性。在四个视觉数据集上的大量实验表明，我们的方法在特征偏斜异构下达到了最先进的 pFL 性能。
引用
@article{arxiv.2311.18559,
title = {FediOS: Decoupling Orthogonal Subspaces for Personalization in Feature-skew Federated Learning},
author = {Lingzhi Gao and Zexi Li and Yang Lu and Chao Wu},
journal= {arXiv preprint arXiv:2311.18559},
year = {2023}
}