FedNoiL：一种用于带噪标签联邦学习的简单两级采样方法
机器学习
2022-05-23 v1
摘要
联邦学习（FL）旨在服务器端训练一个全局模型，而训练数据收集并位于本地设备上。因此，实际中的标签通常由具有不同专业知识或标准的客户端标注，从而包含不同程度的噪声。在噪声标签上的本地训练容易过拟合到噪声标签，通过聚合对全局模型造成毁灭性影响。尽管近期鲁棒的 FL 方法考虑了恶意客户端，但它们尚未解决每个设备上的本地噪声标签及其对全局模型的影响。在本文中，我们提出了一种简单的两级采样方法“FedNoiL”，其（1）在服务器端选择客户端以进行更鲁棒的全局聚合；（2）在客户端选择干净标签并纠正伪标签以进行更鲁棒的本地训练。采样概率基于全局模型对干净标签的检测构建。此外，我们研究了在 FL 过程中改变聚合之间本地训练轮数的不同调度方案，这在噪声标签设定下显著提升了通信与计算效率。在具有同构/异构数据分布和噪声比例的实验中，我们观察到 SOTA FL 方法与 SOTA 噪声标签学习方法的直接组合容易失败，而我们的方法始终取得更好且鲁棒的性能。
引用
@article{arxiv.2205.10110,
title = {FedNoiL: A Simple Two-Level Sampling Method for Federated Learning with Noisy Labels},
author = {Zhuowei Wang and Tianyi Zhou and Guodong Long and Bo Han and Jing Jiang},
journal= {arXiv preprint arXiv:2205.10110},
year = {2022}
}
备注
12 pages