双重类感知对比联邦半监督学习
机器学习
2023-05-09 v2
摘要
联邦半监督学习（FSSL）使有标签客户端与无标签客户端在不共享隐私数据的情况下联合训练全局模型。现有 FSSL 方法主要采用伪标注与一致性正则化来利用无标签数据知识，在原始数据利用上取得显著成功。然而，这些训练过程受限于有标签与无标签客户端上传的本地模型间较大偏差，以及噪声伪标签引入的确认偏差，二者均对全局模型性能产生负面影响。本文提出一种新颖的 FSSL 方法，称为双重类感知对比联邦半监督学习（DCCFSSL）。该方法在特征空间中同时考虑各客户端数据的局部类感知分布与所有客户端数据的全局类感知分布。通过实现双重类感知对比模块，DCCFSSL 为不同客户端建立统一训练目标以应对较大偏差，并引入特征空间中的对比信息以缓解确认偏差。此外，DCCFSSL 提出一种认证重加权聚合技术以提升服务器端聚合鲁棒性。我们的综合实验表明，DCCFSSL 在三个基准数据集上优于当前最先进方法，并在 CIFAR-10、CIFAR-100 和 STL-10 数据集上超越使用重标注无标签客户端的 FedAvg。据我们所知，我们首个提出仅使用 10% 有标签客户端、仍优于使用全部有标签客户端的标准联邦监督学习的 FSSL 方法。
引用
@article{arxiv.2211.08914,
title = {Dual Class-Aware Contrastive Federated Semi-Supervised Learning},
author = {Qi Guo and Yong Qi and Saiyu Qi and Di Wu},
journal= {arXiv preprint arXiv:2211.08914},
year = {2023}
}