任君选择：在低维特征空间中实现有效的个性化联邦学习
机器学习
2023-07-27 v1 分布式、并行与集群计算
摘要
个性化联邦学习（PFL）是一种流行的框架，允许客户端拥有不同的模型，以应对客户端数据处于不同领域的应用场景。PFL中客户端的典型模型包含一个由所有客户端训练以从原始数据中提取通用特征的全局编码器，以及使用客户端本地数据训练的个性化层（例如分类器）。然而，由于不同客户端数据分布之间的差异（即领域鸿沟），全局编码器产生的通用特征在很大程度上包含了与某一客户端本地任务无关的众多成分。近期一些PFL方法通过个性化编码器内的特定参数来解决上述问题。然而，这些方法由于神经网络参数空间的高维性和非线性而面临重大挑战。相比之下，特征空间呈现出更低的维度，与参数空间相比具有更强的直观性和可解释性。为此，我们提出了一种名为FedPick的新型PFL框架。FedPick通过基于各客户端的本地数据分布，从全局编码器生成的特征中自适应地为其选择任务相关特征，从而在低维特征空间中实现PFL。与那些在参数空间中工作的方法相比，它提供了一种更易于实现且可解释的PFL实现方式。大量实验结果表明，FedPick能够有效为每个客户端选择任务相关特征，并提升跨领域FL中的模型性能。
引用
@article{arxiv.2307.13995,
title = {Take Your Pick: Enabling Effective Personalized Federated Learning within Low-dimensional Feature Space},
author = {Guogang Zhu and Xuefeng Liu and Shaojie Tang and Jianwei Niu and Xinghao Wu and Jiaxing Shen},
journal= {arXiv preprint arXiv:2307.13995},
year = {2023}
}
备注
13 pages, 13 figures