基于原型网络的联邦半监督学习
机器学习
2022-05-31 v2 人工智能
摘要
随着边缘设备计算能力的提升，联邦学习（FL）应运而生，使模型训练无需隐私顾虑。现有研究大多假设客户端数据完全标注。然而在实践中，标注数据的数量往往有限。近来，联邦半监督学习（FSSL）被探索作为训练期间有效利用未标注数据的方法。本工作中，我们提出ProtoFSSL，一种基于原型网络的新型FSSL方法。在ProtoFSSL中，客户端通过轻量级原型彼此共享知识，防止局部模型发散。为计算未标注数据的损失，每个客户端基于共享原型生成准确的伪标签。伪标签与标注数据一起为局部原型提供训练信号。相较于基于权重共享的FSSL方法，基于原型的客户端间知识共享显著降低了通信与计算开销，使更多客户端间能更频繁地共享知识以获得更好精度。在多个数据集上，ProtoFSSL相比近期有/无知识共享的FSSL方法（如FixMatch、FedRGD和FedMatch）取得了更高精度。在SVHN数据集上，ProtoFSSL性能与全监督FL方法相当。
引用
@article{arxiv.2205.13921,
title = {Federated Semi-Supervised Learning with Prototypical Networks},
author = {Woojung Kim and Keondo Park and Kihyuk Sohn and Raphael Shu and Hyung-Sin Kim},
journal= {arXiv preprint arXiv:2205.13921},
year = {2022}
}