按需无标签个性化联邦学习
机器学习
2022-10-25 v3
摘要
在联邦学习（FL）中，多个客户端通过中央服务器协作学习共享模型，同时保持数据去中心化。个性化联邦学习（PFL）通过为每个客户端学习个性化模型进一步扩展了FL。在FL和PFL中，所有客户端都参与训练过程，且其带标签数据被用于训练。然而在现实中，新客户端可能希望在预测服务部署后加入，为其自身的无标签数据获取预测。在此，我们引入一种新的学习设定——按需无标签PFL（OD-PFL），其中在一个客户端集合上训练的系统需在推理时应用于后来的无标签新客户端。我们提出一种针对该问题的新方法ODPFL-HN，其学习为迟到的新客户端生成新模型。具体而言，我们训练一个编码器网络，给定客户端的无标签数据学习该客户端的表示。该客户端表示被输入超网络（hypernetwork），由其生成该客户端的个性化模型。在五个基准数据集上的评估表明，ODPFL-HN比现有FL和PFL方法泛化性更好，尤其当新客户端与训练客户端存在较大偏移时。我们还分析了新客户端的泛化误差，并从理论与实验上展示了新客户端如何应用差分隐私。
引用
@article{arxiv.2111.08356,
title = {On-Demand Unlabeled Personalized Federated Learning},
author = {Ohad Amosy and Gal Eyal and Gal Chechik},
journal= {arXiv preprint arXiv:2111.08356},
year = {2022}
}