缩肩收缩:具有保证收敛速率的吉布斯采样收缩模型后验
统计方法学
2021-09-17 v5 统计理论
统计理论
摘要
使用连续收缩先验——在零附近具有“尖峰”且向无穷方向具有重尾——是一种日益流行的方法,用于在参数估计中诱导稀疏性。然而,当参数仅被似然弱识别时,后验可能最终具有与先验一样重的尾,危及推断的稳健性。一个自然的解决方案是通过减轻超出合理参数范围的尾来“收缩收缩先验的肩部”,从而产生该先验的正则化版本。我们开发了一种正则化方法,与先前的提议不同,它保留了原始收缩先验在计算上有吸引力的结构。我们研究了所得后验分布上吉布斯采样器的理论性质,重点在于稀疏逻辑回归的 Pólya-Gamma 吉布斯采样器的收敛速率。我们的分析表明,所提出的正则化在广泛的全局-局部收缩先验下导致几何遍历性。本质上,唯一的要求是局部尺度 上的先验 满足 。如果 进一步满足 (其中 ),如贝叶斯桥先验的情况,我们证明采样器是一致遍历的。
引用
@article{arxiv.1911.02160,
title = {Shrinkage with shrunken shoulders: Gibbs sampling shrinkage model posteriors with guaranteed convergence rates},
author = {Akihiko Nishimura and Marc A. Suchard},
journal= {arXiv preprint arXiv:1911.02160},
year = {2021}
}
备注
23 pages, 8 figures, (22 pages, 3 figures of Supplement). Code available from https://github.com/aki-nishimura/bayes-bridge