ELBOing Stein：基于Stein混合推理的变分贝叶斯方法
机器学习
2025-01-27 v2 机器学习
摘要
Stein变分梯度下降(SVGD)通过一组粒子表示后验分布来执行近似贝叶斯推理。然而，即使对于小规模贝叶斯神经网络(BNN)等中等维度模型，SVGD也存在方差坍缩问题，即由于低估不确定性而导致预测不佳。为解决此问题，我们通过让每个粒子参数化混合模型中的一个分量分布来推广SVGD。我们的方法，即Stein混合推理(SMI)，优化了证据下界(ELBO)，并引入了由粒子参数化的用户指定引导分布。SMI将非线性SVGD框架扩展到变分贝叶斯的情况。根据先前为此目的开发的测试判断，SMI有效避免了方差坍缩，并在标准数据集上表现良好。此外，对于小规模BNN，SMI在准确估计不确定性方面所需的粒子数远少于SVGD。NSVGD、ELBO优化和用户指定引导分布的协同组合，为处理高宽数据情况下的变分贝叶斯推理建立了一种有前景的方法。
引用
@article{arxiv.2410.22948,
title = {ELBOing Stein: Variational Bayes with Stein Mixture Inference},
author = {Ola Rønning and Eric Nalisnick and Christophe Ley and Padhraic Smyth and Thomas Hamelryck},
journal= {arXiv preprint arXiv:2410.22948},
year = {2025}
}