无线联邦 Langevin 蒙特卡洛：将信道噪声重新用于贝叶斯采样与隐私保护
信息论
2022-06-13 v2 网络与互联网体系结构
信号处理
math.IT
摘要
大多数关于联邦学习（FL）的工作聚焦于最常见的频主义学习表述，其目标是最小化全局经验损失。然而，频主义学习在有限数据情形下已知存在问题，因为它无法量化预测中的认知不确定性。贝叶斯学习通过将优化域转移到模型参数分布的空间，为这一问题提供了原则性解决方案。本文提出了一种在无线系统中高效实现贝叶斯学习的新机制。具体而言，我们聚焦于一种基于梯度的标准马尔可夫链蒙特卡洛（MCMC）方法，即 Langevin 蒙特卡洛（LMC），并引入了一种称为无线联邦 LMC（WFLMC）的新协议，该协议能够将信道噪声重新用于 MCMC 采样的种子随机性和隐私保护的双重角色。为此，基于对隐私和功率约束下样本分布与全局后验分布之间 Wasserstein 距离的分析，我们引入了一种功率分配策略，作为凸规划的解。分析确定了系统性能受功率限制、隐私限制或 MCMC 采样要求限制的不同运行 regime。分析和仿真结果均表明，如果在适当条件下对信道噪声加以合理利用，它可被完全重新用于 MCMC 采样和隐私保护，获得与不受隐私约束的理想通信设置相同的性能。
引用
@article{arxiv.2108.07644,
title = {Wireless Federated Langevin Monte Carlo: Repurposing Channel Noise for Bayesian Sampling and Privacy},
author = {Dongzhu Liu and Osvaldo Simeone},
journal= {arXiv preprint arXiv:2108.07644},
year = {2022}
}
备注
submitted