通过泛函梯度估计的生成式粒子变分推断
机器学习
2021-08-12 v2 机器学习
摘要
近来，基于粒子的变分推断（ParVI）方法因可避免变分推断中常见的任意参数化假设而受到关注。然而，许多ParVI方法不允许从后验中任意采样，而少数允许此类采样的方法存在次优性。本工作提出一种学习近似从后验分布采样的新方法。我们构造一个神经采样器，其以经验采样分布与目标分布间KL散度的泛函梯度进行训练，假设该梯度位于再生核希尔伯特空间内。我们的生成式ParVI（GPVI）方法在保持ParVI方法渐近性能的同时，提供了生成式采样器的灵活性。通过精心设计的实验，我们表明GPVI优于先前的生成式ParVI方法（如摊销SVGD），并与ParVI以及哈密顿蒙特卡洛等黄金标准方法在拟合精确已知和难处理目标分布时具有竞争力。
引用
@article{arxiv.2103.01291,
title = {Generative Particle Variational Inference via Estimation of Functional Gradients},
author = {Neale Ratzlaff and Qinxun Bai and Li Fuxin and Wei Xu},
journal= {arXiv preprint arXiv:2103.01291},
year = {2021}
}
备注
22 pages, 9 figures, 10 tables, 1 algorithm