基于分数匹配的半隐式变分推断

半隐式变分推断（SIVI）通过考虑以层次方式定义的隐式变分分布，极大丰富了变分族的表示能力。然而，由于变分分布的密度难以处理，当前的 SIVI 方法通常使用替代证据下界（ELBO）或采用昂贵的内循环 MCMC 运行以获得无偏 ELBO 进行训练。在本文中，我们提出 SIVI-SM，一种基于分数匹配替代训练目标的 SIVI 新方法。利用半隐式变分族的层次结构，分数匹配目标允许极小极大形式，其中难以处理的变分密度可通过去噪分数匹配自然处理。我们表明，SIVI-SM 在精度上接近 MCMC，并在多种贝叶斯推断任务中优于基于 ELBO 的 SIVI 方法。