用于贝叶斯变量选择的变复杂度加权回火吉布斯采样器
机器学习
2023-04-07 v1 机器学习
统计计算
统计方法学
摘要
子集加权回火吉布斯采样器(subset weighted-Tempered Gibbs Sampler, wTGS)由 Jankowiak 近期提出,用以在高维应用中降低每次 MCMC 迭代的计算复杂度,其中后验包含概率(PIP)的精确计算并非必要。然而,与该采样器相关的 Rao-Blackwellized 估计量在信号维度与条件 PIP 估计数量之比较大时具有高方差。本文中,我们设计了一种新的子集加权回火吉布斯采样器(wTGS),其中每次 MCMC 迭代的条件 PIP 计算期望数量可远小于信号维度。不同于子集 wTGS 与 wTGS,我们的采样器在每次 MCMC 迭代具有变复杂度。我们给出了该采样器在有限迭代次数 下相关 Rao-Blackwellized 估计量方差的上界,并表明对于给定数据集,方差为 ,其中 为每次 MCMC 迭代条件 PIP 计算的期望数量。实验表明,我们的 Rao-Blackwellized 估计量可比子集 wTGS 对应的估计量具有更小方差。
引用
@article{arxiv.2304.02899,
title = {Variable-Complexity Weighted-Tempered Gibbs Samplers for Bayesian Variable Selection},
author = {Lan V. Truong},
journal= {arXiv preprint arXiv:2304.02899},
year = {2023}
}
备注
29 pages, 12 figures