FedFixer：缓解联邦学习中的异构标签噪声
机器学习
2024-03-26 v1 人工智能
摘要
联邦学习（Federated Learning, FL）的性能在很大程度上依赖于标签质量。然而，各个客户端之间的标签分布总是既充满噪声又具有异构性。异构标签噪声中由客户端特定样本引起的高损失，给区分客户端特定样本与噪声标签样本带来了挑战，影响了现有标签噪声学习方法的有效性。为解决这一问题，我们提出了 FedFixer，其中引入个性化模型与全局模型协同工作，以有效选择干净的客户端特定样本。在双模型架构中，仅在本地层面更新个性化模型会因样本有限而导致对噪声数据的过拟合，进而影响本地和全局模型的性能。为减轻过拟合，我们从两个角度解决这一问题。首先，我们采用置信度正则化器来缓解由标签噪声引起的非置信预测的影响。其次，实施距离正则化器来约束个性化模型与全局模型之间的差异。我们通过在基准数据集上的大量实验验证了 FedFixer 的有效性。结果表明，FedFixer 能够在不同客户端上良好地过滤噪声标签样本，尤其是在高度异构的标签噪声场景中。
引用
@article{arxiv.2403.16561,
title = {FedFixer: Mitigating Heterogeneous Label Noise in Federated Learning},
author = {Xinyuan Ji and Zhaowei Zhu and Wei Xi and Olga Gadyatskaya and Zilong Song and Yong Cai and Yang Liu},
journal= {arXiv preprint arXiv:2403.16561},
year = {2024}
}
备注
accepted by AAA24