在极度标签缺失下稳健训练联邦模型
机器学习
2024-02-23 v1
摘要
联邦半监督学习（FSSL）已成为一种强大的范式，用于协同训练使用具有标签缺失的分布式数据的机器学习模型。先进的 FSSL 方法主要关注在每个客户端上训练单个模型。然而，这种方法可能导致有标签数据和无标签数据的目标函数之间出现差异，从而产生梯度冲突。为了缓解梯度冲突，我们提出了一种新颖的双模型范式，称为 Twin-sight，旨在通过从有标签和无标签数据的不同视角提供洞察来增强相互指导。具体而言，Twin-sight 在使用有监督目标函数训练有监督模型的同时，使用无监督目标函数训练无监督模型。为了增强这两个模型之间的协同作用，Twin-sight 引入了邻域保持约束，该约束鼓励保持两个模型提取的数据特征之间的邻域关系。我们在四个基准数据集上的全面实验提供了大量证据，表明 Twin-sight 在各种实验设置下均能显著优于 SOTA 方法，证明了所提出的 Twin-sight 的有效性。
引用
@article{arxiv.2402.14430,
title = {Robust Training of Federated Models with Extremely Label Deficiency},
author = {Yonggang Zhang and Zhiqin Yang and Xinmei Tian and Nannan Wang and Tongliang Liu and Bo Han},
journal= {arXiv preprint arXiv:2402.14430},
year = {2024}
}
备注
ICLR 2024, 22 pages