通过 $\chi$-上界最小化的变分推断

变分推断（VI）被广泛用作马尔可夫链蒙特卡罗的高效替代方法。它设定一个近似分布族 $q$ 并寻找与精确后验 $p$ 最接近的成员。接近度通常通过从 $q$ 到 $p$ 的散度 $D(q || p)$ 来衡量。尽管成功，该方法也存在问题。值得注意的是，它通常导致后验方差的低估。在本文中，我们提出 CHIVI，一种最小化 $D_{\chi}(p || q)$（即从 $p$ 到 $q$ 的 $\chi$-散度）的黑盒变分推断算法。CHIVI 最小化模型证据的上界，我们称之为 $\chi$ 上界（CUBO）。最小化 CUBO 可改善后验不确定性，并且它也可以与经典 VI 下界（ELBO）结合使用，以提供模型证据的夹心估计。我们在三个模型上研究 CHIVI：probit 回归、高斯过程分类以及篮球比赛事件的 Cox 过程模型。与期望传播和经典 VI 相比，CHIVI 产生了更好的错误率和更准确的后验方差估计。