面向联邦开放世界半监督学习的无偏训练
机器学习
2023-05-02 v1 分布式、并行与集群计算
摘要
联邦半监督学习（FedSSL）已成为一种新范式，允许多个分布式客户端在稀缺标注数据和丰富无标注数据上协作训练机器学习模型。然而，现有 FedSSL 工作依赖于闭世界假设，即所有本地训练数据和全局测试数据均来自标注数据集中已观测到的已知类。更进一步至关重要：使 FL 模型适应开放世界设定，其中无标注数据中存在未见过的新类。本文提出一种新颖的联邦开放世界半监督学习（FedoSSL）框架，可解决分布式开放世界设定中的关键挑战，即针对异构分布的未见过类别的有偏训练过程。具体而言，由于某一未见过类别的出现依赖于客户端个体，本地未见过类（存在于多个客户端）很可能比全局未见过类（仅存在于一个客户端）获得差异化的更优聚合效果。我们采用不确定性感知抑制损失来缓解本地未见过类与全局未见过类之间的有偏训练。此外，我们引入一个校准模块作为全局聚合的补充，以避免不同客户端间不一致数据分布所导致的潜在冲突知识迁移。所提出的 FedoSSL 可轻松适配最先进的 FL 方法，并通过在基准和真实世界数据集（CIFAR-10、CIFAR-100 和 CINIC-10）上的大量实验得到验证。
引用
@article{arxiv.2305.00771,
title = {Towards Unbiased Training in Federated Open-world Semi-supervised Learning},
author = {Jie Zhang and Xiaosong Ma and Song Guo and Wenchao Xu},
journal= {arXiv preprint arXiv:2305.00771},
year = {2023}
}
备注
12 pages