变分程序推理

我们引入了一个框架，将各种有趣的问题表示为对概率模型程序执行的推理。我们将此类问题的“解”表示为一个引导程序，该程序与模型程序并行运行，并影响模型程序的随机选择，从而使模型程序从不同于其先验的分布中进行采样。理想情况下，引导程序会引导模型程序从给定证据的后验分布中进行采样。我们展示了如何通过多次采样引导模型程序的执行，来有效估计真实后验分布与引导模型程序诱导的分布之间的KL散度（相差一个加性常数）。此外，我们展示了如何将引导程序用作重要性采样中的提议分布，以统计证明证据概率以及假设和证据联合概率的下界。我们可以使用这两个下界的商作为给定证据下假设的条件概率的估计。因此，我们将推理问题转化为对更好引导程序的启发式搜索。