用于多项 Probit 似然高斯过程分类的嵌套期望传播
机器学习
2013-03-28 v1
摘要
我们考虑使用高斯过程 (GP) 先验的概率多项 Probit 分类。多类 GP 分类的挑战在于对非高斯后验分布进行积分，以及随着目标类别数量的增加，未知潜在变量的数量也随之增加。期望传播 (EP) 已被证明是一种非常准确的近似推断方法，但现有的用于多项 Probit GP 分类的 EP 方法依赖于数值求积或不同类别潜在值之间的独立性假设以简化计算。在本文中，我们提出了一种新颖的嵌套 EP 方法，该方法不需要数值求积，能够准确近似潜在值的所有类间后验依赖关系，同时其计算复杂度仍随类别数量线性扩展。我们将嵌套 EP 方法的预测精度与各种基准数据集上的 Laplace 近似、变分贝叶斯和马尔可夫链蒙特卡洛 (MCMC) 近似进行了比较。实验表明，相对于 MCMC 采样，嵌套 EP 是最一致的方法，但如果仅关注分类准确率，各比较方法之间的差异很小。
引用
@article{arxiv.1207.3649,
title = {Nested Expectation Propagation for Gaussian Process Classification with a Multinomial Probit Likelihood},
author = {Jaakko Riihimäki and Pasi Jylänki and Aki Vehtari},
journal= {arXiv preprint arXiv:1207.3649},
year = {2013}
}