面向带标签噪声的联邦学习中的局部K相似约束
机器学习
2025-11-11 v1
摘要
带噪声标签的客户端联邦学习是一个具有挑战性的问题，因为此类客户端可能 infiltrate 全局模型，从而影响整个系统的整体可塑性。现有方法提出处理噪声客户端的方法，假设存在足够数量的干净标签客户端可用，以用于学习稳健的全局模型并抑制噪声客户端的影响。但在大量异构客户端含噪声标签的场景中，这一假设不成立，使现有方法失效。在此类情境下，重要的是在与全局模型通信之前对客户端进行局部正则化，以确保全局模型不被噪声客户端损坏。虽然预训练的自监督模型可用于局部正则化，但现有的集中方法依赖于预训练初始化，在联邦设置下因模型规模较大而不可行，这会增加通信成本。在此基础上，我们提出了一种用于客户端模型的正则化目标，通过强制客户端内部接近数据点之间的相似性来实现预训练模型和分类模型的解耦。我们利用自监督预训练模型的表示空间来评估示例之间的相似性。当这种正则化应用于标准噪声联邦设置下标准下游任务目标函数时，可显著提高性能，在多个计算机视觉和医学图像分类基准测试中超越现有最先进的联邦方法。与其他依赖于自监督预训练初始化的技术不同，我们的方法不需要预训练模型和分类器主干架构共享相同的架构，因而具有架构无关性。
引用
@article{arxiv.2511.06169,
title = {Local K-Similarity Constraint for Federated Learning with Label Noise},
author = {Sanskar Amgain and Prashant Shrestha and Bidur Khanal and Alina Devkota and Yash Raj Shrestha and Seungryul Baek and Prashnna Gyawali and Binod Bhattarai},
journal= {arXiv preprint arXiv:2511.06169},
year = {2025}
}