基于掩蔽优化的抗噪声客户端鲁棒联邦学习

近年来，联邦学习（FL）在隐私敏感的应用中取得了显著进展。然而，难以确保 FL 参与者提供标注良好的数据用于训练。来自不同客户端的相应标注通常包含不同水平的复杂标签噪声。该标签噪声问题对训练模型的性能有重大影响，且噪声水平较高的客户端是造成这种性能下降的主要原因。为此，有必要开发一种有效的优化策略来缓解这些噪声客户端的不利影响。在本研究中，我们提出了一个两阶段优化框架 MaskedOptim，以解决这一复杂的标签噪声问题。第一阶段旨在便于检测具有较高标签噪声率的噪声客户端。第二阶段侧重于通过端到端标签校正机制纠正噪声客户端数据的标签，旨在减轻数据集中错误信息造成的负面影响。这是通过反向传播学习噪声客户端数据集的潜在真实标签来实现的。为进一步增强训练的鲁棒性，我们应用基于几何中位数的模型聚合来替代常用的普通平均模型聚合。我们实现了十六种相关方法，并在三个图像数据集和一个具有多样标签噪声模式的文本数据集上进行了评估，以进行全面比较。大量实验结果表明，我们提出的框架在不同场景下均展现出鲁棒性。此外，我们的标签校正框架有效提升了所检测到的噪声客户端本地数据集的数据质量。我们的代码可通过 https://github.com/Sprinter1999/MaskedOptim 获取。