非混合贝叶斯计算的堆叠:多模态后验的诅咒与祝福
统计方法学
2021-11-19 v3 机器学习
摘要
在处理多模态贝叶斯后验分布时,马尔可夫链蒙特卡洛(MCMC)算法难以在不同模式间移动,而默认的变分或基于模式的近似推断会低估后验不确定性。并且,即使能找到最重要的模式,也难以评估它们在后验中的相对权重。在此我们提出一种方法:并行运行 MCMC、变分或基于模式的推断以尽可能命中尽可能多的模式或分离区域,随后使用贝叶斯堆叠(Bayesian stacking)——一种构造分布加权平均的可扩展方法——将它们结合。堆叠的结果高效地从多模态后验分布中采样,最小化交叉验证预测误差,并比变分推断更好地表示后验不确定性,但它不一定等价于完全贝叶斯推断,即使渐近地看也是如此。我们给出一个理论一致性例子:其中堆叠推断从错误设定模型和非混合采样器中逼近真实数据生成过程,其预测性能优于完全贝叶斯推断,因此在模型错误设定下多模态可被视为祝福而非诅咒。我们在几个模型族中展示了实际实现:隐狄利克雷分配、高斯过程回归、分层回归、horseshoe 变量选择以及神经网络。
引用
@article{arxiv.2006.12335,
title = {Stacking for Non-mixing Bayesian Computations: The Curse and Blessing of Multimodal Posteriors},
author = {Yuling Yao and Aki Vehtari and Andrew Gelman},
journal= {arXiv preprint arXiv:2006.12335},
year = {2021}
}
备注
minor revision