通过端到端标签修正应对联邦学习中的噪声客户端
机器学习
2024-08-09 v1 人工智能
摘要
近年来，联邦学习（FL）在各种隐私敏感应用中取得了广泛成功，同时未牺牲客户端的敏感隐私信息。然而，客户端数据集的数据质量无法保证，因为不同客户端的对应标注往往包含不同程度复杂的标签噪声，这不可避免地导致性能下降。从直觉上看，性能退化主要由噪声率较高的客户端主导，因为其训练模型包含更多来自数据的错误信息，因此有必要设计一种有效的优化方案来缓解这些噪声客户端的负面影响。在本工作中，我们提出了一种两阶段框架FedELC来应对这一复杂的标签噪声问题。第一阶段旨在引导检测噪声率较高的客户端，第二阶段旨在通过端到端标签修正框架修正噪声客户端数据的标签，该框架通过反向传播学习噪声客户端数据集的可能真实标签。我们实现了十六种相关方法，并在五种数据集上针对三种复杂的标签噪声场景进行了全面评估。大量实验结果表明，所提框架在不同场景下均优于对比方法。此外，我们通过标签修正框架有效提升了检测到的噪声客户端本地数据集的数据质量。代码可在https://github.com/Sprinter1999/FedELC获取。
引用
@article{arxiv.2408.04301,
title = {Tackling Noisy Clients in Federated Learning with End-to-end Label Correction},
author = {Xuefeng Jiang and Sheng Sun and Jia Li and Jingjing Xue and Runhan Li and Zhiyuan Wu and Gang Xu and Yuwei Wang and Min Liu},
journal= {arXiv preprint arXiv:2408.04301},
year = {2024}
}
备注
To appear in ACM CIKM'24 full research paper track