FedDiv：面向含噪标签联邦学习的协同噪声过滤
计算机视觉与模式识别
2024-02-19 v3
摘要
含噪标签联邦学习（F-LNL）旨在通过聚合多个使用本地噪声或干净样本训练的客户端模型，经由协同分布式学习寻求最优的服务器模型。在联邦学习框架的基础上，最近的进展主要采用标签噪声过滤来在每个客户端上将干净样本与噪声样本分离，从而减轻标签噪声的负面影响。然而，这些先前的方法没有利用所有客户端的知识来学习噪声过滤器，导致噪声过滤性能次优且低劣，从而损害训练稳定性。在本文中，我们提出 FedDiv 来应对 F-LNL 的挑战。具体而言，我们提出了一种名为联邦噪声过滤器的全局噪声过滤器，用于有效识别每个客户端上具有噪声标签的样本，从而提高本地训练期间的稳定性。在不牺牲数据隐私的情况下，这是通过对所有客户端的标签噪声全局分布进行建模来实现的。然后，为了使全局模型获得更高性能，我们引入了基于预测一致性的采样器来识别更可信的本地数据用于本地模型训练，从而防止噪声记忆并进一步提升训练稳定性。在 CIFAR-10、CIFAR-100 和 Clothing1M 上的大量实验表明，\texttt{FedDiv} 在 IID 和 non-IID 数据划分的不同标签噪声设置下，均优于最先进的 F-LNL 方法。源代码公开于 https://github.com/lijichang/FLNL-FedDiv。
引用
@article{arxiv.2312.12263,
title = {FedDiv: Collaborative Noise Filtering for Federated Learning with Noisy Labels},
author = {Jichang Li and Guanbin Li and Hui Cheng and Zicheng Liao and Yizhou Yu},
journal= {arXiv preprint arXiv:2312.12263},
year = {2024}
}
备注
To appear in AAAI-2024; correct formats to meet standards of the AAAI manuscript