基于信道驱动随机梯度朗之万动力学的贝叶斯空中联邦平均
信息论
2023-08-01 v2 信号处理
math.IT
摘要
近期可扩展贝叶斯推断方法的发展重新激发了将贝叶斯学习作为传统频率学派学习替代方案的关注，后者通过不确定性量化提供改进的模型校准。近来，联邦平均朗之万动力学（FALD）作为联邦平均的一种变体被提出，可在无噪声通信下高效实现分布式贝叶斯学习。本文提出无线 FALD（WFALD），一种通过将空中计算与用于蒙特卡洛更新的信道驱动采样相集成，在无线系统中实现 FALD 的新协议。与已有无线贝叶斯学习工作不同，WFALD 支持（i）通信轮次之间进行多次本地更新；以及（ii）通过小批量计算的随机梯度。本文给出了以 WFALD 产生的样本与目标全局后验分布之间的 2-Wasserstein 距离表示的收敛性分析。分析与实验表明，当信噪比足够大时，信道噪声可完全转用于蒙特卡洛采样，从而不造成性能损失。
引用
@article{arxiv.2305.04152,
title = {Bayesian Over-the-Air FedAvg via Channel Driven Stochastic Gradient Langevin Dynamics},
author = {Boning Zhang and Dongzhu Liu and Osvaldo Simeone and Guangxu Zhu},
journal= {arXiv preprint arXiv:2305.04152},
year = {2023}
}
备注
6 pages, 4 figures, 26 references, submitted