通过负蒸馏处理具有极高噪声客户端的联邦学习
机器学习
2024-02-26 v2
摘要
联邦学习（FL）在协同训练深度模型方面取得了显著成功，但通常受困于标签噪声问题。先进的工作提出通过重加权策略来解决标签噪声，但这基于一个强假设，即标签噪声较轻微。然而，在许多现实世界的 FL 场景中，由于存在高度污染的客户端，这一假设可能被违背，导致极高的噪声比例，例如 90%。为应对具有极高噪声的客户端，我们研究了重加权策略的鲁棒性，并得出了一个悲观的结论：最小化在噪声数据上训练的客户端的权重优于重加权策略。为了利用在噪声客户端上训练的模型，我们提出了一种名为负蒸馏（FedNed）的新方法。FedNed 首先识别噪声客户端，并以知识蒸馏的方式利用而非丢弃这些噪声客户端。具体而言，被识别为噪声的客户端需要使用噪声标签和由全局模型获得的伪标签来训练模型。在噪声标签上训练的模型在知识蒸馏中充当“坏教师”，旨在降低提供错误信息的风险。同时，在伪标签上训练的模型若未被识别为噪声客户端，则参与模型聚合。因此，通过伪标签，FedNed 逐渐提高了在噪声客户端上训练的模型的可信度，同时通过负蒸馏利用所有客户端进行模型聚合。为了验证 FedNed 的有效性，我们在各种设置下进行了广泛的实验，表明 FedNed 能持续优于基线方法并达到最先进（SOTA）的性能。我们的代码可在 https://github.com/linChen99/FedNed 获取。
引用
@article{arxiv.2312.12703,
title = {Federated Learning with Extremely Noisy Clients via Negative Distillation},
author = {Yang Lu and Lin Chen and Yonggang Zhang and Yiliang Zhang and Bo Han and Yiu-ming Cheung and Hanzi Wang},
journal= {arXiv preprint arXiv:2312.12703},
year = {2024}
}
备注
Accepted by AAAI 2024