基于变分贝叶斯推断的联邦学习：个性化、稀疏性与聚类
机器学习
2023-03-09 v1
摘要
联邦学习（FL）是一种前景广阔的框架，可在保护客户端隐私的同时建模分布式机器学习。然而，FL 因数据异构且有限而面临性能下降。为缓解该问题，我们提出一种名为 pFedBayes 的新型个性化贝叶斯 FL 方法。通过将服务器训练得到的全局分布作为各客户端的先验分布，每个客户端通过最小化其个性化数据上的重构误差之和以及与下载的全局分布之间的 KL 散度来调整自身分布。接着，我们提出一种稀疏个性化贝叶斯 FL 方法，名为 sFedBayes。为克服非独立同分布数据中的极端异构性，我们通过为不同客户端学习不同的先验分布，提出一种聚类贝叶斯 FL 模型，名为 cFedbayes。理论分析给出了三种方法的泛化误差界，并表明所提方法的泛化误差收敛速率在至多一个对数因子下达到极小极大最优性。此外，分析表明 cFedbayes 比 pFedBayes 具有更紧的泛化误差率。大量实验证明，在存在异构且有限数据的情况下，所提方法在私有模型上的性能优于其他先进的个性化方法。
引用
@article{arxiv.2303.04345,
title = {Federated Learning via Variational Bayesian Inference: Personalization, Sparsity and Clustering},
author = {Xu Zhang and Wenpeng Li and Yunfeng Shao and Yinchuan Li},
journal= {arXiv preprint arXiv:2303.04345},
year = {2023}
}
备注
17 pages, 19 figures