(FL)²：克服联邦半监督学习中的少量标签问题
机器学习
2024-11-01 v2
摘要
联邦学习（FL）是一种分布式机器学习框架，在训练精确全局模型的同时保护客户端的隐私敏感数据。然而，大多数FL方法假设客户端拥有标注数据，这在实践中往往并非如此。联邦半监督学习（FSSL）解决了这一标签不足问题，针对的是只有服务器拥有少量标注数据而客户端没有标注数据的情况。然而，集中式半监督学习（SSL）与FSSL之间存在显著的性能差距。这一差距源于确认偏差，由于FSSL中多次本地训练轮次以及标注数据与未标注数据的分离，确认偏差更为显著。我们提出(FL)²，一种使用锐度感知一致性正则化的无标签客户端鲁棒训练方法。我们证明，对原始伪标签损失进行正则化是次优的，因此我们精心选择未标注样本进行正则化。我们进一步引入客户端特定的自适应阈值和学习状态感知聚合，以根据每个客户端的学习进度调整训练过程。我们在三个基准数据集上的实验表明，我们的方法显著提升了性能并弥合了与SSL之间的差距，特别是在标注数据稀缺的场景中。
引用
@article{arxiv.2410.23227,
title = {(FL)$^2$: Overcoming Few Labels in Federated Semi-Supervised Learning},
author = {Seungjoo Lee and Thanh-Long V. Le and Jaemin Shin and Sung-Ju Lee},
journal= {arXiv preprint arXiv:2410.23227},
year = {2024}
}
备注
Accepted to NeurIPS 2024