量化标签噪声对联邦学习的影响
机器学习
2023-04-04 v7 机器学习
摘要
联邦学习（Federated Learning, FL）是一种分布式机器学习范式，其中客户端利用各自的本地（人工生成）数据集协作训练模型。尽管现有研究聚焦于开发 FL 算法以应对跨客户端的数据异构性，但 FL 中数据质量（例如标签噪声）这一重要问题被忽视了。本文旨在通过提供一项关于标签噪声对 FL 影响的量化研究来填补这一空白。我们推导了泛化误差的上界，该上界在客户端的标签噪声水平上呈线性。随后我们在 MNIST 和 CIFAR-10 数据集上使用多种 FL 算法进行实验。我们的实证结果表明，全局模型精度随噪声水平增加呈线性下降，这与我们的理论分析一致。我们进一步发现，标签噪声会减缓 FL 训练的收敛速度，且当噪声水平较高时全局模型倾向于过拟合。
引用
@article{arxiv.2211.07816,
title = {Quantifying the Impact of Label Noise on Federated Learning},
author = {Shuqi Ke and Chao Huang and Xin Liu},
journal= {arXiv preprint arXiv:2211.07816},
year = {2023}
}
备注
Accepted by The AAAI 2023 Workshop on Representation Learning for Responsible Human-Centric AI