关于稀疏变分方法与随机过程间的Kullback-Leibler散度
机器学习
2015-12-07 v2
摘要
用于学习诱导变量(Titsias, 2009a)的变分框架对高斯过程文献产生了很大影响。该框架可解释为最小化近似过程与后验过程之间严格定义的Kullback-Leibler散度。据我们所知，这一联系迄今为止在文献中未被提及。在本文中，我们对该主题的文献给出了实质性推广。我们给出了无限索引集上结果的新证明，其允许非数据点的诱导点以及依赖于所有函数值的似然。然后我们讨论增广索引集，并表明与先前工作相反，增广的边缘一致性不足以保证变分推断与原模型的一致性。然后我们刻画了可获得此种保证的额外条件。最后我们展示了我们的框架如何阐明域间稀疏近似和Cox过程的稀疏近似。
引用
@article{arxiv.1504.07027,
title = {On Sparse variational methods and the Kullback-Leibler divergence between stochastic processes},
author = {Alexander G. de G. Matthews and James Hensman and Richard E. Turner and Zoubin Ghahramani},
journal= {arXiv preprint arXiv:1504.07027},
year = {2015}
}
备注
9 pages. No figures