将联邦 ADMM 与贝叶斯方法相连
机器学习
2025-03-03 v2 人工智能
机器学习
摘要
我们提供了两种基于 (i) ADMM 和 (ii) 变分贝叶斯（VB）的联邦学习方法之间的新的联系，并提出了通过结合它们的互补优势来开发的新变体。具体而言，我们展示了 ADMM 中的对偶变量如何自然地通过 VB 中使用各向同性高斯协方差的“站点”参数出现。利用这一点，我们推导出两种使用灵活协方差和功能正则化的 ADMM 版本。通过数值实验，我们验证了在性能上获得的改进。该工作显示了两种被认为在本质上不同领域之间的联系，并将它们结合起来以提高联邦学习。
引用
@article{arxiv.2501.17325,
title = {Connecting Federated ADMM to Bayes},
author = {Siddharth Swaroop and Mohammad Emtiyaz Khan and Finale Doshi-Velez},
journal= {arXiv preprint arXiv:2501.17325},
year = {2025}
}