关注差距：置信度差异可指导联邦半监督学习跨越伪标签失配
机器学习
2025-03-18 v1 计算机视觉与模式识别
摘要
联邦半监督学习（FSSL）旨在利用具有有限标记数据的客户端上的未标记数据，以训练具有强泛化能力的全局模型。大多数 FSSL 方法依赖带有伪标签的一致性正则化，将来自局部或全局模型的预测转换为硬伪标签作为监督信号。然而，我们发现伪标签的质量在很大程度上被数据异构性所恶化，这是联邦学习的固有特征。在本文中，我们深入研究了 FSSL 问题，并表明：(1) 异构性加剧了伪标签失配，进一步降低了模型性能和收敛速度；(2) 随着异构性增加，局部和全局模型的预测倾向出现分歧。受这些发现启发，我们提出了一种简单有效的方法，称为用于全局增强集成的半监督聚合（SAGE），它可以根据置信度差异灵活纠正伪标签。该策略有效缓解了由错误伪标签引起的性能下降，并增强了局部和全局模型之间的共识。实验结果表明，SAGE 在性能和收敛性上均优于现有的 FSSL 方法。我们的代码可在 https://github.com/Jay-Codeman/SAGE 获取。
引用
@article{arxiv.2503.13227,
title = {Mind the Gap: Confidence Discrepancy Can Guide Federated Semi-Supervised Learning Across Pseudo-Mismatch},
author = {Yijie Liu and Xinyi Shang and Yiqun Zhang and Yang Lu and Chen Gong and Jing-Hao Xue and Hanzi Wang},
journal= {arXiv preprint arXiv:2503.13227},
year = {2025}
}
备注
Accepted by CVPR 2025