通过面向目标的联邦学习克服标签偏移
机器学习
2025-08-27 v2 人工智能
摘要
联邦学习使多个参与者能够在不共享私有数据的情况下协作训练模型。当训练模型将要使用的目标域与客户端聚合共享数据分布时，现有算法在该任务上表现成功且有充分依据，但这在实践中经常被违反。一个常见原因是标签偏移——即客户端与目标域之间的标签分布不同。我们通过实证表明，这可能显著降低性能。为解决这一问题，我们提出了 FedPALS，一种原则性强且实用的模型聚合方案，通过利用中心服务器对标签分布的知识来适应标签偏移，从而改善目标域中的性能。我们的方法确保在联邦随机梯度下降下获得无偏更新，从而在具有多样化标签偏移数据的客户端之间实现鲁棒泛化。在图像分类任务上的大量实验表明，FedPALS 通过使模型聚合与目标域对齐，持续优于基线方法。我们的发现揭示了在客户端存在极端标签稀疏性时传统联邦学习方法严重受损的情况，强调了 FedPALS 所提供的面向目标的聚合的关键必要性。
引用
@article{arxiv.2411.03799,
title = {Overcoming label shift with target-aware federated learning},
author = {Edvin Listo Zec and Adam Breitholtz and Fredrik D. Johansson},
journal= {arXiv preprint arXiv:2411.03799},
year = {2025}
}