变分推断用于不确定性量化：权衡分析

给定一个难以处理的分布 $p$，变分推断（VI）的目标是从某个更易处理的族 $Q$ 中找到最佳近似。通常，人们选择 $Q$ 为因子化分布族（即平均场假设），即使 $p$ 本身并不因子化。我们表明这种不匹配可能导致一个不可能性定理：如果 $p$ 不因子化且具有非对角协方差矩阵，那么任何因子化近似 $q\in Q$ 最多只能正确估计以下三种不确定性度量中的一种：（i）边际方差，（ii）边际精度，或（iii）广义方差（对于椭圆分布，这与熵密切相关）。在实践中，通过最小化分布之间的某种散度 $D(q,p)$ 来找到 $Q$ 中的最佳变分近似，因此我们问：散度的选择如何决定 VI 是否正确估计了哪种不确定性度量（如果有的话）？我们考虑经典的 Kullback-Leibler 散度、更一般的 $\alpha$-散度，以及一种基于分数的散度，它比较 $\nabla \log p$ 和 $\nabla \log q$。我们彻底分析了 $p$ 为高斯分布且 $q$ 为（因子化）高斯分布的情况。在此设定下，我们表明所有考虑的散度可以根据它们作为 VI 目标函数所产生的不确定性估计进行排序。最后，当目标分布 $p$ 不是高斯分布时，我们实证评估了这种排序的有效性。