基于粒子的变分推断的理解与加速
机器学习
2019-07-17 v4 机器学习
摘要
基于粒子的变分推断方法（ParVIs）因其在贝叶斯推断文献中能够提供灵活且准确的近似而受到关注。我们从 Wasserstein 梯度流的角度探索 ParVIs，并做出了理论与实际两方面的贡献。我们统一了现有 ParVIs 所使用的各种有限粒子近似，并认识到该近似本质上是一种强制性的平滑处理，表现为两种等价形式之一。这一新颖的理解揭示了现有 ParVIs 的假设与关联，同时也启发了新的 ParVIs。我们针对一般 ParVIs 提出了一种加速框架和一种基于原则的带宽选择方法；这些均建立在所发展理论的基础上，并利用了 Wasserstein 空间的几何结构。实验结果表明，加速框架改善了收敛性，而带宽选择方法提升了样本精度。
引用
@article{arxiv.1807.01750,
title = {Understanding and Accelerating Particle-Based Variational Inference},
author = {Chang Liu and Jingwei Zhuo and Pengyu Cheng and Ruiyi Zhang and Jun Zhu and Lawrence Carin},
journal= {arXiv preprint arXiv:1807.01750},
year = {2019}
}
备注
A typo for citation corrected