联邦噪声客户端学习

Kahou Tam; Li Li; Bo Han; Chengzhong Xu; Huazhu Fu

联邦噪声客户端学习

机器学习 2022-12-02 v4 人工智能计算机视觉与模式识别分布式、并行与集群计算

作者: Kahou Tam , Li Li , Bo Han , Chengzhong Xu , Huazhu Fu

摘要

联邦学习(FL)依赖多个本地客户端协同训练一个共享的全局模型，同时保持训练数据去中心化以保护数据隐私。然而，标准 FL 方法忽视了噪声客户端问题，这可能损害共享模型的整体性能。我们首先研究了 FL 中由噪声客户端引起的关键问题，并从不同层所学表征的角度量化了噪声客户端的负面影响。我们得到以下两个关键观察：(1) 噪声客户端会严重影响 FL 中全局模型的收敛与性能；(2) 噪声客户端在全局模型较深层中引起的偏差大于前层。基于上述观察，我们提出了 Fed-NCL，一种在存在噪声客户端时进行鲁棒联邦学习的框架。具体而言，Fed-NCL 首先通过合理估计数据质量与模型发散度来识别噪声客户端。随后提出鲁棒的逐层聚合方法，自适应地聚合各客户端的本地模型，以应对噪声客户端导致的数据异构性。我们进一步在噪声客户端上执行标签修正，以提升全局模型的泛化能力。在多个数据集上的实验结果表明，我们的算法提升了不同 SOTA 系统在噪声客户端下的性能。我们的代码已发布于 https://github.com/TKH666/Fed-NCL

关键词

联邦学习噪声客户端鲁棒聚合标签修正数据异构性 Fed-NCL

引用

@article{arxiv.2106.13239,
  title  = {Federated Noisy Client Learning},
  author = {Kahou Tam and Li Li and Bo Han and Chengzhong Xu and Huazhu Fu},
  journal= {arXiv preprint arXiv:2106.13239},
  year   = {2022}
}

备注

The code is available on https://github.com/TKH666/Fed-NCL

联邦噪声客户端学习

摘要

关键词

引用

备注

相关论文