具有加性噪声并适用于多种似然的可扩展高斯过程分类
机器学习
2019-09-17 v1 机器学习
摘要
高斯过程分类（GPC）提供了一个灵活而强大的统计框架来描述函数空间上的联合分布。然而，传统 GPC 存在（i）因完整核矩阵导致大数据下可扩展性差，以及（ii）因非高斯似然导致推断难解的问题。因此，人们提出了各种可扩展 GPC，通过（i）基于小型诱导集的稀疏近似来降低时间复杂度；以及（ii）近似推断导出解析证据下界（ELBO）。然而，这些配备解析 ELBO 的可扩展 GPC 局限于特定似然或额外假设。本工作中，我们提出一个统一框架，容纳使用多种似然的可扩展 GPC。类比 GP 回归（GPR），我们引入加性噪声来扩充概率空间，以用于（i）通过内部变量处理具有阶跃、（多项）probit 与 logit 似然的 GPC；特别地，（ii）通过噪声变量本身处理使用 softmax 似然的 GPC。这借助变分推断导出了具有解析 ELBO 的统一可扩展 GPC。在经验上，我们的 GPC 在多达两百万数据点的广泛二分类/多分类任务中，展现出优于最先进可扩展 GPC 的结果。
引用
@article{arxiv.1909.06541,
title = {Scalable Gaussian Process Classification with Additive Noise for Various Likelihoods},
author = {Haitao Liu and Yew-Soon Ong and Ziwei Yu and Jianfei Cai and Xiaobo Shen},
journal= {arXiv preprint arXiv:1909.06541},
year = {2019}
}
备注
11 pages, 5 figures, preprint under review