FedHB：分层贝叶斯联邦学习

我们提出一种新颖的分层贝叶斯联邦学习（FL）方法，其中我们的模型通过分层贝叶斯建模合理描述了客户端本地数据的生成过程：构成客户端的局部模型随机变量，由更高层次的全局变量所支配。有趣的是，我们贝叶斯模型中的变分推断导出一个优化问题，其块坐标下降解成为一种在客户端上可分离的分布式算法，并允许客户端完全不泄露其私有数据，从而与 FL 完全兼容。我们还强调，我们的块坐标算法具有特定形式，将著名的 FL 算法（包括 Fed-Avg 和 Fed-Prox）作为特例包含在内。除了引入新颖的建模与推导，我们还提供收敛性分析，表明我们的块坐标 FL 算法以 $O(1/\sqrt{t})$ 的速率收敛到目标的（局部）最优值，与常规（集中式）SGD 速率相同，以及泛化误差分析，其中我们证明随着训练数据量增大，我们模型在未见数据上的测试误差保证消失，从而渐近最优。