基于客户端间一致性与分离学习的联邦半监督学习
机器学习
2021-03-30 v3 机器学习
摘要
现有的联邦学习方法大多要求客户端拥有完全标注的数据以进行训练，而在实际场景中，客户端获取的数据通常没有任何附带标签。这种标签的缺失可能源于高昂的标注成本，或是由于需要专家知识而导致的标注困难。因此，每个客户端的私有数据可能是部分标注的，或者是完全未标注的，而标注数据仅在服务器端可用，这引出了一个新颖的实用联邦学习问题，即联邦半监督学习(FSSL)。在本工作中，我们基于标注数据的位置研究了FSSL的两个基本场景。第一个场景考虑常规情况，即客户端同时拥有标注和未标注数据（客户端标注），第二个场景考虑更具挑战性的情况，即标注数据仅在服务器端可用（服务器端标注）。随后，我们提出了一种解决该问题的新方法，称之为联邦匹配(FedMatch)。FedMatch通过一种新的客户端间一致性损失以及对标注和未标注数据进行分离学习的参数分解，改进了联邦学习与半监督学习方法的朴素组合。通过在两种不同场景下对我们方法的大量实验验证，我们表明我们的方法优于本地半监督学习以及将联邦学习与半监督学习朴素结合的基线方法。代码可在 https://github.com/wyjeong/FedMatch 获取。
引用
@article{arxiv.2006.12097,
title = {Federated Semi-Supervised Learning with Inter-Client Consistency & Disjoint Learning},
author = {Wonyong Jeong and Jaehong Yoon and Eunho Yang and Sung Ju Hwang},
journal= {arXiv preprint arXiv:2006.12097},
year = {2021}
}