消息传递 Stein 变分梯度下降
机器学习
2018-06-11 v3
摘要
Stein 变分梯度下降（SVGD）是近来提出的基于粒子的贝叶斯推断方法，因相较传统变分推断与马尔可夫链蒙特卡洛方法具有卓越的近似能力与粒子效率而备受关注。然而，我们观察到 SVGD 的粒子趋于坍缩至目标分布的模式，且这种粒子退化现象随维度升高而加剧。我们的理论分析发现维度与 SVGD 的排斥力之间存在负相关，此应为该现象之因。我们提出消息传递 SVGD（MP-SVGD）以解决此问题。通过利用概率图模型（PGMs）的条件独立结构，MP-SVGD 将原始高维全局推断问题转化为关于马尔可夫毯上较低维度的一组局部问题。实验结果显示其在高维空间中防止排斥力消失方面优于 SVGD，且在图模型上相较其他推断方法具有粒子效率与近似灵活性优势。
引用
@article{arxiv.1711.04425,
title = {Message Passing Stein Variational Gradient Descent},
author = {Jingwei Zhuo and Chang Liu and Jiaxin Shi and Jun Zhu and Ning Chen and Bo Zhang},
journal= {arXiv preprint arXiv:1711.04425},
year = {2018}
}
备注
To appear in the Proceedings of the 35th International Conference on Machine Learning (ICML 2018)