基于Stein运输的贝叶斯推断

我们提出了一种新型的贝叶斯推断方法——Stein运输(Stein transport)，旨在高效地沿着一系列预定义的温度概率分布曲线推动粒子群的运动。驱动向量场选自再现核希尔伯特空间(RKHS)，可通过合适的核岭回归形式或作为Stein几何中的无限小最优运输图来获得。Stein运输的更新方程类似于Stein变分梯度下降(SVGD)，但引入了随时间变化的得分函数以及附加的特定粒子权重。虽然SVGD依赖于长期收敛，但Stein运输在有限时间$t=1$时即可达到后验近似。我们研究了平均场极限，讨论了正则化和有限粒子效应所带来的误差，并将Stein运输与出生-死亡动力学和Fisher-Rao梯度流相联系。在一系列实验中，我们表明与SVGD相比，Stein运输不仅常常以显著更低的计算预算就能获得更精确的后验近似，而且有效缓解了SVGD中常见的方差坍缩现象。