关于联邦平均朗之万动力学的收敛性
机器学习
2023-10-06 v4 机器学习
摘要
我们提出一种联邦平均朗之万算法（FA-LD），用于分布式客户端的不确定性量化和均值预测。特别地，我们将之推广到正态后验分布之外，并考虑一类通用模型。我们为 FA-LD 在具有非独立同分布数据且强对数凹分布下建立理论保证，并研究注入噪声与随机梯度噪声、数据异质性以及变化的学习率如何影响收敛。此类分析为最小化通信成本的局部更新最优选择提供了启示。我们方法的关键在于，通信效率不因朗之万算法中注入的噪声而恶化。此外，我们在 FA-LD 算法中考察了不同客户端上使用的独立与相关噪声。我们观察到在通信、精度与数据隐私之间存在权衡。由于本地设备可能在联邦网络中失效，我们还展示了基于仅有部分设备更新可用的不同平均方案的收敛结果。在此情形下，我们发现一个不衰减到零的额外偏差。
引用
@article{arxiv.2112.05120,
title = {On Convergence of Federated Averaging Langevin Dynamics},
author = {Wei Deng and Qian Zhang and Yi-An Ma and Zhao Song and Guang Lin},
journal= {arXiv preprint arXiv:2112.05120},
year = {2023}
}
备注
A polished proof without the federated formulation of Langevin diffusion to avoid confusion