通过重访微扰理论收紧变分推断的界

变分推断已成为潜变量建模中最广泛使用的方法之一。在其基本形式中，变分推断采用完全因子化的变分分布，并最小化其与后验的KL散度。由于最小化只能近似进行，这种近似引入了偏差。在本文中，我们重访微扰理论，将其作为改进变分近似的有力方法。微扰理论依赖于对数边际似然的一种泰勒展开形式，粗略地按真实后验与其变分近似的对数比展开。虽然一阶项给出经典的变分界，但高阶项产生收紧该界的修正项。然而，传统微扰理论不提供下界，使其不适合随机优化。在本文中，我们提出了一种相似但替代的推导ELBO修正项的方式，其类似于微扰理论，但得到有效的界。我们在高斯过程和变分自编码器上的实验表明，新界具有更大的质量覆盖性，且所得后验协方差更接近真实后验，并在留出数据上带来更高的似然。