用于不确定性量化的变分推断：权衡分析

给定一个难处理的分布 $p$，变分推断（VI）的问题是从某个更易处理的分布族 $Q$ 中寻找最佳近似。通常，人们选择 $Q$ 为因式分解分布族（即平均场假设），即使 $p$ 本身并未因式分解。我们证明这种不匹配会导致一个不可能定理：如果 $p$ 未因式分解且具有非对角协方差矩阵，则任何因式分解近似 $q\!\in\!Q$ 最多只能正确估计以下三种不确定性度量之一： 边缘方差， 边缘精度，或 广义方差（对于椭圆分布，它与熵密切相关）。在实践中，$Q$ 中的最佳变分近似是通过最小化分布间的某种散度 $D(q,p)$ 来找到的，因此我们提出疑问：散度的选择如何决定 VI 能正确估计哪种不确定性度量（如果有的话）？我们考虑了经典的 Kullback-Leibler 散度、更一般的 $\alpha$-散度，以及比较 $\nabla \log p$ 和 $\nabla \log q$ 的基于分数的散度。我们深入分析了 $p$ 为高斯分布且 $q$ 为（因式分解）高斯分布的情形。在此设定下，我们证明了所有考虑的散度都可以根据它们作为 VI 目标函数所产生的不确定性估计进行排序。最后，我们在目标分布 $p$ 为非高斯分布的情况下，实证评估了该排序的有效性。