广义EXTRA随机梯度Langevin动力学
机器学习
2025-10-28 v2 最优化与控制
摘要
Langevin算法是贝叶斯学习中流行的马尔可夫链蒙特莱罗方法，尤其适用于从参数模型的后验分布进行抽样。其随机版本，如随机梯度Langevin动力学（SGLD），允许基于大数据集随机抽样的小批量进行迭代，具备大规模数据集的可扩展性。然而，在数据分布在受通信与隐私约束的网络代理之间时，标准SGLD算法无法直接应用。因此，我们采用去中心化SGLD（DE-SGLD）算法，在不共享individual数据的情况下由网络代理协同完成贝叶斯学习。然而，现有DE-SGLD算法在每个代理处引入偏差，可能影响性能；这种偏差即使使用完整小批量也依然存在，归因于网络效应。灵感来自用于去中心化优化的EXTRA算法及其推广，我们提出广义EXTRA随机梯度Langevin动力学，消除在完整小批量情景下的偏差。此外，我们证明在小批量情景下，本算法在文献中现有DE-SGLD算法之上显著提升性能界限。我们的 numerical 结果也显示出该方法的高效性。
引用
@article{arxiv.2412.01993,
title = {Generalized EXTRA stochastic gradient Langevin dynamics},
author = {Mert Gurbuzbalaban and Mohammad Rafiqul Islam and Xiaoyu Wang and Lingjiong Zhu},
journal= {arXiv preprint arXiv:2412.01993},
year = {2025}
}