在含噪声与异构客户端联邦学习中谨慎学习
机器学习
2023-04-07 v1 人工智能
摘要
联邦学习（FL）是一种具有隐私保障的协作训练分布式框架。在真实场景中，客户端可能拥有非独立同分布数据（本地类别不平衡）且标注质量差（标签噪声）。标签噪声与类别不平衡在 FL 的小型本地数据集中共存，导致常规 FL 方法与噪声标签学习方法均失效。为应对这些挑战，我们提出 FedCNI，无需使用额外的干净代理数据集。它包含一个抗噪声本地求解器和一个鲁棒全局聚合器。对于本地求解器，我们设计了更鲁棒的原型噪声检测器以区分噪声样本。进一步为减少噪声样本带来的负面影响，我们设计了课程伪标注方法和去噪 Mixup 训练策略。对于全局聚合器，我们提出了一种适配不同学习阶段的切换重加权聚合方法。大量实验表明，我们的方法在混合异构 FL 环境中大幅优于最先进的方案。
引用
@article{arxiv.2304.02892,
title = {Learning Cautiously in Federated Learning with Noisy and Heterogeneous Clients},
author = {Chenrui Wu and Zexi Li and Fangxin Wang and Chao Wu},
journal= {arXiv preprint arXiv:2304.02892},
year = {2023}
}
备注
Accepted by IEEE ICME 2023