基于贝叶斯对偶的联邦ADMM
机器学习
2026-03-05 v4 最优化与控制
机器学习
摘要
我们提出了一种新的贝叶斯方法来推广联邦交替方向乘子法（ADMM）。我们证明变分贝叶斯（VB）目标函数的解与一种对偶结构相关联，该结构不仅与ADMM不动点的结构相似，而且推广了它。例如，当VB目标在各向同性高斯族上优化时，可以恢复类ADMM更新，而对于其他指数族分布则可获得新的非平凡推广。这些推广包括一种在二次目标上一步收敛的类牛顿变体，以及一种在深度异构情况下带来高达7%精度提升的类Adam变体。我们的工作开辟了一条通过贝叶斯方法推广ADMM及其他原对偶方法的新途径。
引用
@article{arxiv.2506.13150,
title = {Federated ADMM from Bayesian Duality},
author = {Thomas Möllenhoff and Siddharth Swaroop and Finale Doshi-Velez and Mohammad Emtiyaz Khan},
journal= {arXiv preprint arXiv:2506.13150},
year = {2026}
}
备注
First two authors contributed equally. Published at ICLR 2026. Code is at https://github.com/team-approx-bayes/bayes-admm