利用双调节器应对联邦半监督学习中的数据不平衡问题
机器学习
2024-03-12 v3 人工智能
摘要
联邦学习已成为从分散异构数据中学习的一种流行方法。由于分散客户端上标签稀缺,联邦半监督学习(FSSL)应运而生,用于从一小部分标注数据中训练模型。现有 FSSL 方法假设客户端间独立同分布(IID)的标注数据,且客户端内标注与未标注数据具有一致的类分布。本文研究了一种更实际且更具挑战性的 FSSL 场景,其中数据分布不仅在客户端间不同,而且在客户端内标注与未标注数据之间也不同。为应对该挑战,我们提出了一种带有双调节器的新型 FSSL 框架 FedDure。FedDure 通过粗粒度调节器(C-reg)和细粒度调节器(F-reg)打破了先前的假设:C-reg 通过跟踪标注数据分布上的学习效果来正则化局部模型的更新;F-reg 学习一种为每个客户端中未标注样本量身定制的自适应加权方案。我们进一步将客户端模型训练表述为双层优化,利用两个调节器在客户端中自适应优化模型。理论上,我们给出了双调节器的收敛性保证。在实验上,我们证明了 FedDure 在广泛设置下优于现有方法,在 CIFAR-10 和 CINIC-10 数据集上尤为明显,提升超过 11。
引用
@article{arxiv.2307.05358,
title = {Combating Data Imbalances in Federated Semi-supervised Learning with Dual Regulators},
author = {Sikai Bai and Shuaicheng Li and Weiming Zhuang and Jie Zhang and Song Guo and Kunlin Yang and Jun Hou and Shuai Zhang and Junyu Gao and Shuai Yi},
journal= {arXiv preprint arXiv:2307.05358},
year = {2024}
}