面向噪声标签的联邦学习客户端剪枝
机器学习
2024-11-13 v1 人工智能
计算机视觉与模式识别
分布式、并行与集群计算
摘要
联邦学习（FL）支持在去中心化边缘设备上协同训练模型，同时保护数据隐私。然而，现有 FL 方法通常假设拥有干净的标注数据集，这对资源受限的边缘设备并不现实。实际上，噪声标签普遍存在，对 FL 性能构成重大挑战。先前的方法尝试标签纠正和鲁棒训练技术，但效果有限，尤其是在高噪声水平下。本文提出 ClipFL（联邦学习客户端剪枝），一种从新视角解决噪声标签的新框架。ClipFL 基于客户端在干净验证数据集上的表现，利用噪声候选得分（NCS）识别并排除噪声客户端。该框架包含三个阶段：预客户端剪枝以识别潜在噪声客户端并计算其 NCS，客户端剪枝以剔除 NCS 最高的一定比例客户端，以及后客户端剪枝阶段，在干净客户端上用标准 FL 对全局模型进行微调。实验评估表明，ClipFL 在多种数据集和噪声水平下均有效，能准确识别噪声客户端，获得优越性能、更快收敛和更低通信成本，优于最先进的 FL 方法。代码已开源：https://github.com/MMorafah/ClipFL。
引用
@article{arxiv.2411.07391,
title = {Federated Learning Client Pruning for Noisy Labels},
author = {Mahdi Morafah and Hojin Chang and Chen Chen and Bill Lin},
journal= {arXiv preprint arXiv:2411.07391},
year = {2024}
}