中文

缩肩收缩:具有保证收敛速率的吉布斯采样收缩模型后验

统计方法学 2021-09-17 v5 统计理论 统计理论

摘要

使用连续收缩先验——在零附近具有“尖峰”且向无穷方向具有重尾——是一种日益流行的方法,用于在参数估计中诱导稀疏性。然而,当参数仅被似然弱识别时,后验可能最终具有与先验一样重的尾,危及推断的稳健性。一个自然的解决方案是通过减轻超出合理参数范围的尾来“收缩收缩先验的肩部”,从而产生该先验的正则化版本。我们开发了一种正则化方法,与先前的提议不同,它保留了原始收缩先验在计算上有吸引力的结构。我们研究了所得后验分布上吉布斯采样器的理论性质,重点在于稀疏逻辑回归的 Pólya-Gamma 吉布斯采样器的收敛速率。我们的分析表明,所提出的正则化在广泛的全局-局部收缩先验下导致几何遍历性。本质上,唯一的要求是局部尺度 λ\lambda 上的先验 πlocal\pi_{\rm local} 满足 πlocal(0)<\pi_{\rm local}(0) < \infty。如果 πlocal()\pi_{\rm local}(\cdot) 进一步满足 limλ0πlocal(λ)/λa<\lim_{\lambda \to 0} \pi_{\rm local}(\lambda) / \lambda^a < \infty(其中 a>0a > 0),如贝叶斯桥先验的情况,我们证明采样器是一致遍历的。

关键词

引用

@article{arxiv.1911.02160,
  title  = {Shrinkage with shrunken shoulders: Gibbs sampling shrinkage model posteriors with guaranteed convergence rates},
  author = {Akihiko Nishimura and Marc A. Suchard},
  journal= {arXiv preprint arXiv:1911.02160},
  year   = {2021}
}

备注

23 pages, 8 figures, (22 pages, 3 figures of Supplement). Code available from https://github.com/aki-nishimura/bayes-bridge