中文

用于贝叶斯变量选择的变复杂度加权回火吉布斯采样器

机器学习 2023-04-07 v1 机器学习 统计计算 统计方法学

摘要

子集加权回火吉布斯采样器(subset weighted-Tempered Gibbs Sampler, wTGS)由 Jankowiak 近期提出,用以在高维应用中降低每次 MCMC 迭代的计算复杂度,其中后验包含概率(PIP)的精确计算并非必要。然而,与该采样器相关的 Rao-Blackwellized 估计量在信号维度与条件 PIP 估计数量之比较大时具有高方差。本文中,我们设计了一种新的子集加权回火吉布斯采样器(wTGS),其中每次 MCMC 迭代的条件 PIP 计算期望数量可远小于信号维度。不同于子集 wTGS 与 wTGS,我们的采样器在每次 MCMC 迭代具有变复杂度。我们给出了该采样器在有限迭代次数 TT 下相关 Rao-Blackwellized 估计量方差的上界,并表明对于给定数据集,方差为 O((PS)2logTT)O\big(\big(\frac{P}{S}\big)^2 \frac{\log T}{T}\big),其中 SS 为每次 MCMC 迭代条件 PIP 计算的期望数量。实验表明,我们的 Rao-Blackwellized 估计量可比子集 wTGS 对应的估计量具有更小方差。

关键词

引用

@article{arxiv.2304.02899,
  title  = {Variable-Complexity Weighted-Tempered Gibbs Samplers for Bayesian Variable Selection},
  author = {Lan V. Truong},
  journal= {arXiv preprint arXiv:2304.02899},
  year   = {2023}
}

备注

29 pages, 12 figures