局部还是全局：有限标签下联邦学习的选择性知识同化
机器学习
2023-07-19 v1 人工智能
计算机视觉与模式识别
摘要
许多现有联邦学习(FL)方法假设客户端拥有完全标注的数据，而在实际场景中，由于标注过程昂贵且费力，客户端仅有有限标签。客户端有限的标注本地数据常导致其本地模型对更大的未标注本地数据泛化能力差，例如与未标注数据存在类别分布失配。因此，客户端可能转而受益于跨客户端训练的全局模型以利用其未标注数据，但由于跨客户端的数据异质性，这也变得困难。在我们的工作中，我们提出FedLabel，其中客户端根据本地或全局模型谁更擅长该数据，选择性地选用二者之一为其未标注数据打伪标签。我们进一步通过全局-局部一致性正则化利用本地与全局模型的知识，该正则化在两者对未标注数据具有一致伪标签时最小化两模型输出的差异。与其他半监督FL基线不同，我们的方法除本地或全局模型外不需要额外专家，也不需要通信额外参数。我们也不假设任何服务器标注数据或完全标注的客户端。在跨设备与跨孤岛设置下，我们表明FedLabel以8%–24%的优势超越其他半监督FL基线，且仅用5%–20%的标注数据甚至超越标准全监督FL基线（100%标注数据）。
引用
@article{arxiv.2307.08809,
title = {Local or Global: Selective Knowledge Assimilation for Federated Learning with Limited Labels},
author = {Yae Jee Cho and Gauri Joshi and Dimitrios Dimitriadis},
journal= {arXiv preprint arXiv:2307.08809},
year = {2023}
}
备注
To appear in the proceedings of ICCV 2023