基于分布式 Stein 变分梯度下降的联邦广义贝叶斯学习
机器学习
2021-03-31 v6 信息论
信号处理
math.IT
机器学习
摘要
本文提出分布式 Stein 变分梯度下降（DSVGD），一种用于联邦学习的非参数广义贝叶斯推断框架。DSVGD 在中央服务器维护若干非随机且相互作用的粒子，以表示模型全局后验的当前迭代。这些粒子被其中一个智能体迭代地下载和更新，最终目标是最小化全局自由能。通过调整粒子数量，DSVGD 能够在每轮通信负载与通信轮数之间实现灵活的权衡。研究表明，在准确率和对智能体数量的扩展性方面，DSVGD 优于每轮同样仅调度单个设备的基准频率学派与贝叶斯联邦学习策略，同时还能提供校准良好因而可信的预测。
引用
@article{arxiv.2009.06419,
title = {Federated Generalized Bayesian Learning via Distributed Stein Variational Gradient Descent},
author = {Rahif Kassab and Osvaldo Simeone},
journal= {arXiv preprint arXiv:2009.06419},
year = {2021}
}