基于拒绝采样的精炼$\alpha$-散度变分推断

我们提出一种近似推断方法，基于R\'enyi $\alpha$-散度变分推断（RDVI）与拒绝采样（RS）的协同结合。RDVI基于最小化真实分布$p(x)$与变分近似$q(x)$之间的R\'enyi $\alpha$-散度$D_\alpha(p||q)$；RS使用提议分布$q(x)$从分布$p(x) = \tilde{p}(x)/Z_{p}$中抽取样本，满足$Mq(x) \geq \tilde{p}(x), \forall x$。我们的推断方法基于一个关键观察：对于给定的提议$q_\theta(x)$，$D_\infty(p||q)$等于RS常数最优值$M(\theta)$的对数。这使我们能够开发一种\emph{两阶段}混合推断算法。阶段1执行RDVI，通过最小化$D_\alpha(p||q)$的估计量来学习$q_\theta$，并利用学到的$q_\theta$找到（近似）最优的$\tilde{M}(\theta)$。阶段2使用常数$\tilde{M}(\theta)$执行RS，以改进近似分布$q_\theta$并获得基于样本的近似。我们证明，与RDVI相比，该两阶段方法能让我们学到显著更精确的目标分布近似。我们通过合成与真实数据集上的若干实验展示了方法的有效性。