面向无标签客户端的联邦学习：低维中的个人化可能性
机器学习
2025-05-22 v1 机器学习
摘要
个人化联邦学习已成为训练持有统计异构数据的设备（称为客户端）的流行方法。然而，大多数现有方法需要客户端拥有标签数据用于训练或微调以获得自己的个人化模型。本文提出FLowDUP方法，通过仅使用前向传播即可生成个人化模型，而无需标签数据。生成的模型参数驻留在低维子空间中，从而实现高效的通信与计算。FLowDUP的学习目标受我们新构建的转归多任务PAC-Bayesian泛化界的理论激励，为无标签客户端提供性能保证。该目标结构允许拥有标签数据和仅有无标签数据的客户端共同参与训练过程。为补充理论结果，我们对FLowDUP进行了详尽的实验评估，表明其在不同统计异构客户端的数据集上表现出色。通过大量消融实验，我们测试了方法各个组件的有效性。
关键词
引用
@article{arxiv.2505.15579,
title = {Federated Learning with Unlabeled Clients: Personalization Can Happen in Low Dimensions},
author = {Hossein Zakerinia and Jonathan Scott and Christoph H. Lampert},
journal= {arXiv preprint arXiv:2505.15579},
year = {2025}
}