Stein变分高斯过程
机器学习
2022-01-20 v3 机器学习
摘要
我们展示了如何使用Stein变分梯度下降(SVGD)在非高斯似然与大体积数据的高斯过程(GP)模型中进行推断。马尔可夫链蒙特卡洛(MCMC)在这些情形下计算极其密集，但高效变分推断(VI)所需的参数化假设在遇到此类模型常见的多模态后验分布时会导致错误推断。SVGD提供了变分推断的非参数替代方案，其比MCMC显著更快。我们证明，对于具有Lipschitz梯度的GP模型，SVGD算法单调减小从采样分布到真实后验的Kullback-Leibler散度。我们的方法在回归与分类的基准问题、一个多模态后验以及一个具有550,134个时空观测的空气质量实例上得到演示，显示出相对于MCMC和VI的实质性性能提升。
引用
@article{arxiv.2009.12141,
title = {Stein Variational Gaussian Processes},
author = {Thomas Pinder and Christopher Nemeth and David Leslie},
journal= {arXiv preprint arXiv:2009.12141},
year = {2022}
}
备注
26 pages, 5 figures