通过联邦学习个性化低秩贝叶斯神经网络

Boning Zhang; Dongzhu Liu; Osvaldo Simeone; Guanchu Wang; Dimitrios Pezaros; Guangxu Zhu

通过联邦学习个性化低秩贝叶斯神经网络

机器学习 2024-10-21 v1

作者: Boning Zhang , Dongzhu Liu , Osvaldo Simeone , Guanchu Wang , Dimitrios Pezaros , Guangxu Zhu

摘要

为了支持现实世界中的决策，模型具有良好的校准性至关重要，即模型为其预测分配的不确定性要准确。在个性化联邦学习（PFL）中，不确定性量化尤为重要，因为参与的客户端通常拥有较小的本地数据集，这使得难以明确确定最优模型参数。贝叶斯PFL（BPFL）方法有望改善校准性，但它们通常需要跟踪所有单个模型参数的方差，从而带来相当大的计算和内存需求。此外，不同的客户端可能因本地数据集大小和分布的不同而表现出异质的不确定性水平。为了解决这些挑战，我们提出了LR-BPFL，一种新颖的BPFL方法，它学习一个全局确定性模型以及个性化的低秩贝叶斯修正。为了使本地模型适应每个客户端固有的不确定性水平，LR-BPFL结合了一种自适应秩选择机制。我们在各种数据集上评估了LR-BPFL，证明了其在校准性、准确性以及计算和内存需求方面的优势。

关键词

personalized federated learning Bayesian neural networks low-rank approximation uncertainty quantification model calibration

引用

@article{arxiv.2410.14390,
  title  = {Personalizing Low-Rank Bayesian Neural Networks Via Federated Learning},
  author = {Boning Zhang and Dongzhu Liu and Osvaldo Simeone and Guanchu Wang and Dimitrios Pezaros and Guangxu Zhu},
  journal= {arXiv preprint arXiv:2410.14390},
  year   = {2024}
}

通过联邦学习个性化低秩贝叶斯神经网络

摘要

关键词

引用

相关论文