通过张量列分解实现具有数十亿诱导输入的可扩展高斯过程
机器学习
2018-01-18 v2 机器学习
摘要
我们提出了一种用于高斯过程（GP）模型近似推断的方法（TT-GP）。我们基于以往的可扩展GP研究，包括基于诱导输入的随机变分推断、核插值以及结构利用代数。我们方法的核心思想是对变分参数使用张量列分解，这使我们能够训练具有数十亿诱导输入的高斯过程，并在多个基准测试上取得最先进的结果。此外，我们的方法允许基于深度神经网络训练核函数，而无需对底层GP模型进行任何修改。神经网络学习数据的多维嵌入，GP利用该嵌入进行最终预测。我们通过最大化GP边际似然，端到端地联合训练GP和神经网络参数，无需预训练。我们在包括MNIST、CIFAR-10和Airline在内的多个回归和分类基准数据集上展示了所提方法的效率。
引用
@article{arxiv.1710.07324,
title = {Scalable Gaussian Processes with Billions of Inducing Inputs via Tensor Train Decomposition},
author = {Pavel Izmailov and Alexander Novikov and Dmitry Kropotov},
journal= {arXiv preprint arXiv:1710.07324},
year = {2018}
}