FedTriNet：一种面向联邦半监督学习的三方伪标记方法
机器学习
2021-12-14 v2
摘要
联邦学习在分布式数据利用与隐私保护方面已展现出巨大潜力。现有多数联邦学习方法聚焦于有监督设定，即每个客户端存储的数据均带标签。然而，在真实应用中，客户端数据不可能被完全标注。因此，如何利用无标签数据成为联邦学习的新挑战。尽管已有少数研究试图克服该挑战，但它们可能存在信息泄露或误导性信息使用问题。为解决这些问题，本文提出一种名为 FedTriNet 的新型联邦半监督学习方法，其包含两个学习阶段。在第一阶段，我们使用带标签数据通过 FedAvg 对 FedTriNet 进行预训练。在第二阶段，我们旨在充分利用无标签数据以辅助模型学习。具体而言，我们提出使用三个网络与动态质量控制机制为无标签数据生成高质量伪标签，并将其加入训练集。最后，FedTriNet 使用新训练集对模型进行重训练。在三个公开数据集上的实验结果表明，所提 FedTriNet 在 IID 与 Non-IID 设定下均优于最先进的基线方法。
引用
@article{arxiv.2109.05612,
title = {FedTriNet: A Pseudo Labeling Method with Three Players for Federated Semi-supervised Learning},
author = {Liwei Che and Zewei Long and Jiaqi Wang and Yaqing Wang and Houping Xiao and Fenglong Ma},
journal= {arXiv preprint arXiv:2109.05612},
year = {2021}
}
备注
Accepted by BigData 2021