混合分布下的个性化联邦学习
机器学习
2023-05-03 v1
摘要
近期个性化联邦学习(PFL)的趋势引起了广泛关注,因为它允许在保持数据隐私的同时训练针对每个客户端的定制模型。然而,当前的PFL技术主要关注条件分布异质性(即概念偏移)的建模,当各客户端间输入数据的分布存在差异(即协变量偏移)时,这可能导致次优性能。此外,这些技术通常缺乏适应未见数据的能力,进一步限制了它们在真实场景中的有效性。为应对这些局限,我们提出了一种新方法FedGMM,它利用高斯混合模型(GMM)有效拟合不同客户端上的输入数据分布。模型参数通过联邦期望最大化算法以最大似然估计进行估计,该算法以闭式求解且不假设梯度相似性。此外,FedGMM还具有以最小开销适应新客户端的额外优势,并且支持不确定性量化。在合成与基准数据集上的实证评估表明,我们的方法在PFL分类和新样本检测中均具有优越性能。
引用
@article{arxiv.2305.01068,
title = {Personalized Federated Learning under Mixture of Distributions},
author = {Yue Wu and Shuaicheng Zhang and Wenchao Yu and Yanchi Liu and Quanquan Gu and Dawei Zhou and Haifeng Chen and Wei Cheng},
journal= {arXiv preprint arXiv:2305.01068},
year = {2023}
}
备注
International Conference on Machine Learning (ICML'23)