Fisher 遇见 Feynman：基于专家乘积的得分变分推断

我们引入了一个高度表达力强且易于处理的变分推断家族，用于黑箱变分推断。该家族的每个成员都是加权专家乘积，其中每个加权专家与多元 $t$-分布成正比。这些专家乘积可以建模具有偏斜、重尾和多模态的分布，但为了将其用于黑箱变分推断，我们必须能够从其密度中采样。我们展示了如何通过将这些专家乘积重新表述为具有辅助 Dirichlet 随机变量的潜变量模型来实现这一点。这些 Dirichlet 变量源于 Feynman 恒等式，该恒等式最初是为量子场论中的圈积分而开发的，它将多个分数（在我们的例子中是 $t$-分布）的乘积表示为单纯形上的积分。我们利用这个单纯形潜空间从这些专家乘积中抽取加权样本——黑箱变分推断随后使用这些样本来寻找最佳逼近目标密度的专家乘积。给定一组专家，我们推导出一个迭代过程来优化决定其在专家乘积中几何权重的指数。在每次迭代中，该过程最小化正则化的 Fisher 散度，以匹配从当前近似中抽取的一批样本上的变分密度和目标密度的得分。该最小化问题简化为一个凸二次规划，我们证明在一般条件下，这些更新以指数速度收敛到专家的近似最优权重。最后，我们在各种合成和真实世界目标分布上评估了这种方法。