具有标注异质性的联邦半监督学习
机器学习
2023-03-07 v1
摘要
联邦半监督学习（FSSL）旨在同时具有标注与未标注数据的环境中从不同客户端学习全局模型。现有FSSL工作大多假设两类数据在每个客户端上均可用。本文研究更一般的带标注异质性的FSSL问题设定，其中每个客户端可持有任意比例（0%–100%）的标注数据。为此，我们提出一种称为异质标注半监督学习（HASSLE）的新颖FSSL框架。具体地，它是一个双模型框架，两个模型分别在标注与未标注数据上训练，从而可简单应用于具有任意标注比例的客户端。此外，提出一种称为有监督-无监督互对齐（SUMA）的互学习策略，用于HASSLE内双模型的全局残差对齐与模型邻近对齐。随后，双模型可跨不同客户端隐式地从两类数据中学习，尽管每个双模型仅本地在单一类型数据上训练。实验验证HASSLE中经SUMA学习的双模型可相互学习，从而有效利用跨客户端两类数据的信息。
引用
@article{arxiv.2303.02445,
title = {Federated Semi-Supervised Learning with Annotation Heterogeneity},
author = {Xinyi Shang and Gang Huang and Yang Lu and Jian Lou and Bo Han and Yiu-ming Cheung and Hanzi Wang},
journal= {arXiv preprint arXiv:2303.02445},
year = {2023}
}