FedAnchor：利用标签对比损失增强未标记客户端的联邦半监督学习
机器学习
2024-02-16 v1
摘要
联邦学习 (FL) 是一种分布式学习范式，促进了跨设备的共享全局模型协同训练，同时保持数据本地化。FL 在众多现实应用中的部署面临延迟，主要是由于对监督任务的普遍依赖。在边缘设备生成详细标签（如果可行）要求很高，因为受到资源限制和持续数据更新的必要性。为了解决这些挑战，诸如联邦半监督学习 (FSSL) 等解决方案变得至关重要，它依赖于未标记客户端的数据和服务器上有限的标记数据。在本文中，我们提出了 FedAnchor，一种创新的 FSSL 方法，引入了一种独特的双头结构，称为锚点头，与仅在服务器上的标记锚点数据上训练的分类头配对。锚点头配备了基于余弦相似度度量新设计的标签对比损失。我们的方法缓解了与基于高置信度模型预测样本的伪标签技术相关的确认偏差和过拟合问题。在 CIFAR10/100 和 SVHN 数据集上的大量实验表明，我们的方法在收敛速度和模型准确率方面显著优于最先进的方法。
引用
@article{arxiv.2402.10191,
title = {FedAnchor: Enhancing Federated Semi-Supervised Learning with Label Contrastive Loss for Unlabeled Clients},
author = {Xinchi Qiu and Yan Gao and Lorenzo Sani and Heng Pan and Wanru Zhao and Pedro P. B. Gusmao and Mina Alibeigi and Alex Iacob and Nicholas D. Lane},
journal= {arXiv preprint arXiv:2402.10191},
year = {2024}
}