去中心化随机梯度朗之万动力学与哈密顿蒙特卡洛
机器学习
2021-08-30 v4 机器学习
最优化与控制
摘要
随机梯度朗之万动力学（SGLD）与随机梯度哈密顿蒙特卡洛（SGHMC）是两种流行的用于贝叶斯推断的马尔可夫链蒙特卡洛（MCMC）算法，能够扩展到大型数据集，从而在给定输入数据与模型参数先验分布的条件下，从统计模型参数的后验分布中采样。然而，当智能体网络因隐私或通信限制而不共享各自数据、协作学习统计模型参数时，这些算法不适用于去中心化学习设定。我们研究了两种算法：去中心化 SGLD（DE-SGLD）与去中心化 SGHMC（DE-SGHMC），它们是对 SGLD 与 SGHMC 方法的改造，可在去中心化设定下对大型数据集进行可扩展的贝叶斯推断。我们证明，当后验分布为强对数凹且光滑时，若参数选取适当，这些算法的迭代在 2-Wasserstein 距离下线性收敛至目标分布的邻域。我们在去中心化贝叶斯线性回归与贝叶斯逻辑回归问题上展示了算法的效率。
引用
@article{arxiv.2007.00590,
title = {Decentralized Stochastic Gradient Langevin Dynamics and Hamiltonian Monte Carlo},
author = {Mert Gürbüzbalaban and Xuefeng Gao and Yuanhan Hu and Lingjiong Zhu},
journal= {arXiv preprint arXiv:2007.00590},
year = {2021}
}