FedIL：基于去中心化无标签数据的联邦增量学习及其收敛性分析
机器学习
2023-02-24 v1
摘要
大多数现有联邦学习方法假设客户端拥有完全标注的数据进行训练，而现实中由于用户隐私顾虑、标注成本高或缺乏专业知识，客户端难以获得特定任务标签。本工作考虑服务器拥有小规模标注数据集，并意图利用多个客户端中的无标签数据进行半监督学习。我们提出一种带有广义模型的新框架——联邦增量学习（FedIL），以解决在联邦学习（FL）场景下如何分别利用服务器中的标注数据与客户端中的无标签数据的问题。FedIL 使用迭代相似度融合来强化服务器与客户端对无标签数据预测的一致性，并利用增量置信度在各客户端中建立可信伪标签集。我们证明，经归一化的余弦相似度可使 FedIL 加速模型收敛，该结论由 Banach 不动点定理证得。代码见 https://anonymous.4open.science/r/fedil。
引用
@article{arxiv.2302.11823,
title = {FedIL: Federated Incremental Learning from Decentralized Unlabeled Data with Convergence Analysis},
author = {Nan Yang and Dong Yuan and Charles Z Liu and Yongkun Deng and Wei Bao},
journal= {arXiv preprint arXiv:2302.11823},
year = {2023}
}