DPVI：一种动态权重的基于粒子的变分推断框架
机器学习
2021-12-03 v1
摘要
近期发展的基于粒子的变分推断（ParVI）方法通过迭代更新粒子位置，将一组固定权重粒子的经验分布驱向给定目标分布 。然而，固定权重限制极大束缚了经验分布的逼近能力，尤其在粒子数有限时。本文提出依据Fisher-Rao反应流动态调整粒子权重。我们根据一种新颖的连续复合流，发展了通用的动态权重基于粒子的变分推断（DPVI）框架，其同时演化粒子的位置与权重。我们证明该复合流的均值场极限实为某相异度泛函 的Wasserstein-Fisher-Rao梯度流，这导致 比现有固定权重ParVI背后的Wasserstein梯度流下降更快。通过在通用框架中使用不同有限粒子近似，我们导出若干高效DPVI算法。实验结果表明所导出的DPVI算法优于其固定权重对应方法。
引用
@article{arxiv.2112.00945,
title = {DPVI: A Dynamic-Weight Particle-Based Variational Inference Framework},
author = {Chao Zhang and Zhijian Li and Hui Qian and Xin Du},
journal= {arXiv preprint arXiv:2112.00945},
year = {2021}
}