具有实例相关噪声标签的联邦学习
机器学习
2024-01-11 v3 计算机视觉与模式识别
摘要
带有噪声标签的联邦学习（FL）构成了重大挑战。现有为集中式学习中处理噪声标签而设计的方法在FL设置中往往会失效，主要原因是数据集规模小和客户端数据的异质性。尽管已经有一些尝试来解决带有噪声标签的FL，但它们主要关注类条件噪声的场景。在本文中，我们研究了FL中更具挑战性和实用性的实例相关噪声（IDN）问题。我们引入了一种名为FedBeat（基于贝叶斯集成辅助转移矩阵估计的联邦学习）的新算法。FedBeat旨在使用IDN转移矩阵（IDNTM）构建全局统计一致的分类器，该算法包含三个协同步骤：（1）联邦数据提取步骤，构建弱全局模型并使用贝叶斯模型集成方法提取高置信度数据。（2）联邦转移矩阵估计步骤，客户端基于提取的数据协作训练IDNTM估计网络。（3）联邦分类器校正步骤，通过使用针对噪声标签设计的损失函数并利用IDNTM训练全局模型，提升其性能。在CIFAR-10和SVHN上进行的实验验证了所提方法显著优于最先进的方法。
引用
@article{arxiv.2312.10324,
title = {Federated Learning with Instance-Dependent Noisy Label},
author = {Lei Wang and Jieming Bian and Jie Xu},
journal= {arXiv preprint arXiv:2312.10324},
year = {2024}
}
备注
Accepted by ICASSP 2024