从标注混沌到学习和谐：带噪声标签的联邦学习
机器学习
2023-05-29 v3
摘要
联邦学习（FL）是一种分布式机器学习范式，可从分散的私有数据集学习模型，其中标注工作委托给客户端。尽管大多数现有FL方法假设用户设备上随时可得高质量标签，现实中标签噪声在FL中自然产生且与客户端特征密切相关。由于FL中可用数据稀缺且客户端间标签噪声差异显著，现有最先进的集中式方法表现不佳，而先前FL研究依赖过度的设备端计算方案或服务器上额外的干净数据。在此，我们提出FedLN，一种应对FL各训练阶段（即FL初始化、设备端模型训练与服务器模型聚合）标签噪声的框架，能适应FL系统中设备的多样计算能力。具体而言，FedLN在单次联邦轮次中计算每客户端噪声水平估计，并通过纠正或缓解噪声样本影响来提升模型性能。我们在多个公开视觉与音频数据集上的评估显示，相较其他现有方法在60%标签噪声水平下平均提升22%。我们进一步在人工标注的真实世界噪声数据集验证FedLN效率，报告模型识别性能平均提升4.8%，突显该方法可助力改进面向日常用户的FL服务。
引用
@article{arxiv.2208.09378,
title = {Labeling Chaos to Learning Harmony: Federated Learning with Noisy Labels},
author = {Vasileios Tsouvalas and Aaqib Saeed and Tanir Ozcelebi and Nirvana Meratnia},
journal= {arXiv preprint arXiv:2208.09378},
year = {2023}
}