核半隐式变分推断

半隐式变分推断（SIVI）通过层次方式定义的半隐式分布扩展了传统变分族。由于半隐式分布的密度难以处理，经典SIVI通常采用证据下界（ELBO）的替代目标，这会在训练中引入偏差。SIVI的最新进展SIVI-SM利用通过极小极大公式变得可处理的替代分数匹配目标，但需要额外的低层优化。在本文中，我们提出核SIVI（KSIVI），它是SIVI-SM的一个变体，通过核技巧消除了低层优化的需要。具体地，我们表明当在再生核希尔伯特空间（RKHS）上优化时，低层问题具有显式解。这样，上层目标变为核斯坦因散度（KSD），由于半隐式变分分布的层次结构，该散度易于通过随机梯度下降计算。我们推导了KSD目标的蒙特卡洛梯度估计量方差的上界，从而建立了KSIVI的新收敛保证。我们在合成分布和各种真实数据贝叶斯推断任务上展示了KSIVI的有效性和效率。