依赖序列的方差缩减方法及其在随机梯度 MCMC 中的应用
统计理论
2020-08-18 v1 统计计算
统计理论
摘要
本文针对依赖序列的加性泛函，提出了一种新颖且实用的方差缩减方法。我们的方法将控制变量法与经验方差估计的最小化相结合。我们分析了所提方法的有限样本性质，并推导了超额渐近方差趋于零的有限时间界。我们将该方法应用于用于大规模数据集贝叶斯推断的随机梯度 MCMC (SGMCMC) 方法，并将其与现有的 SGMCMC 方差缩减方法相结合。我们在若干基准示例上给出了实证结果，表明我们的方差缩减方法以适度的计算开销增加为代价，相比最先进的方法取得了显著改进。
引用
@article{arxiv.2008.06858,
title = {Variance reduction for dependent sequences with applications to Stochastic Gradient MCMC},
author = {D. Belomestny and L. Iosipoi and E. Moulines and A. Naumov and S. Samsonov},
journal= {arXiv preprint arXiv:2008.06858},
year = {2020}
}