联邦平均朗之万动力学：迈向统一理论与新算法
机器学习
2022-11-02 v1 机器学习
摘要
本文关注联邦学习（FL）背景下的贝叶斯推断。尽管已有若干分布式 MCMC 算法被提出，但很少考虑 FL 特有的限制，如通信瓶颈与统计异质性。近来，联邦平均朗之万动力学（FALD）被提出，将联邦平均算法扩展至贝叶斯推断。我们获得了 FALD 到全局后验的 Wasserstein 距离的一个新的紧非渐近上界。该界突出了统计异质性的影响，其导致局部更新中的漂移，对收敛产生负面影响。我们提出了一种新算法 VR-FALD*，使用控制变量来修正客户端漂移。我们建立了非渐近界，表明 VR-FALD* 不受统计异质性影响。最后，我们在多个贝叶斯推断的 FL 基准上展示了我们的结果。
引用
@article{arxiv.2211.00100,
title = {Federated Averaging Langevin Dynamics: Toward a unified theory and new algorithms},
author = {Vincent Plassier and Alain Durmus and Eric Moulines},
journal= {arXiv preprint arXiv:2211.00100},
year = {2022}
}
备注
58 pages