FedCorr：用于标签噪声纠正的多阶段联邦学习
机器学习
2022-04-12 v1 人工智能
计算机视觉与模式识别
摘要
联邦学习（FL）是一种保护隐私的分布式学习范式，使客户端能够联合训练全局模型。在实际 FL 部署中，客户端数据可能存在标签噪声，且不同客户端的标签噪声水平可能差异巨大。尽管集中式学习中存在处理标签噪声的方法，但由于 FL 中客户端数据集通常较小且有数据隐私要求，这类方法在 FL 的异构标签噪声下表现不佳。本文提出 ，一种通用的多阶段框架，用于在 FL 中处理异构标签噪声，不对本地客户端的噪声模型作任何假设，同时仍保持客户端数据隐私。具体而言：（1） 通过利用在所有客户端上独立测量的模型预测子空间维数动态识别噪声客户端，并基于逐样本损失识别噪声客户端上的错误标签。为处理数据异构性并提升训练稳定性，我们提出一种基于估计的本地噪声水平的自适应本地近端正则化项。（2）我们进一步在识别出的干净客户端上微调全局模型，并在微调后纠正其余噪声客户端的噪声标签。（3）最后，我们在所有客户端上应用常规训练以充分利用所有本地数据。在带有联邦合成标签噪声的 CIFAR-10/100 以及真实世界噪声数据集 Clothing1M 上的实验表明， 对标签噪声具有鲁棒性，并在多种噪声水平下大幅优于最先进方法。
引用
@article{arxiv.2204.04677,
title = {FedCorr: Multi-Stage Federated Learning for Label Noise Correction},
author = {Jingyi Xu and Zihan Chen and Tony Q. S. Quek and Kai Fong Ernest Chong},
journal= {arXiv preprint arXiv:2204.04677},
year = {2022}
}
备注
Accepted at IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2022. 18 pages, 10 figures (including supplementary material). First two authors contributed equally. Code is available at: https://github.com/Xu-Jingyi/FedCorr