基于高斯分数匹配的方差推断

变分推断（VI）是一种近似贝叶斯统计中出现的计算上难以处理的后验分布的方法。通常，VI 通过最小化适当的目标（如证据下界（ELBO））将简单的参数分布拟合到目标后验。在这项工作中，我们提出了一种基于分数匹配原理的 VI 新方法，即如果两个分布相等，则它们的分数函数（即对数密度的梯度）在其支撑集的每一点上都相等。基于此，我们发展了分数匹配 VI，一种迭代算法，旨在匹配变分近似与精确后验之间的分数。在每次迭代中，分数匹配 VI 求解一个内部优化问题，该问题对当前变分估计进行最小调整，以在新采样的潜变量值处匹配分数。我们证明当变分族为高斯分布时，该内部优化具有闭式解，我们称之为高斯分数匹配 VI（GSM-VI）。GSM-VI 也是一种“黑盒”变分算法，因为它只需要可微联合分布，因此可以应用于广泛的模型类别。我们将 GSM-VI 与黑盒变分推断（BBVI）进行比较，后者具有类似的要求但优化 ELBO。我们研究了 GSM-VI 如何随问题维度、目标协方差矩阵的条件数（当目标为高斯时）以及近似后验与精确后验分布之间的失配程度而变化。我们还在来自 posteriorDB 数据集与模型数据库的若干真实世界贝叶斯推断问题上研究 GSM-VI。在所有研究中，我们发现 GSM-VI 比 BBVI 更快，且不牺牲精度。它获得可比近似质量所需的梯度评估次数少 10-100 倍。