一种用于改进异质多输出高斯过程模型推断的全自然梯度方案
摘要
近期多输出高斯过程的一种新颖扩展通过假设每个输出拥有各自的似然函数来处理异质输出。它使用向量值高斯过程先验，将所有似然函数的参数联合建模为从具有核心区域化协方差线性模型的 Gaussian 过程中抽取的潜函数。借助诱导点框架，该模型能够获得适用于随机变分推断的可处理变分界。然而，变分参数与超参数之间的强条件作用加重了原方法中使用的自适应梯度优化方法的负担。为克服此问题，我们借鉴变分优化的思想，引入超参数上的探索性分布，从而通过全自然梯度优化方案与后验的变分参数一同进行推断。此外，本文中我们引入了异质多输出模型的扩展，其潜函数从卷积过程中抽取。我们表明，对于核心区域化线性模型与卷积过程模型，我们的优化方案相比自适应梯度方法能够获得具有更高测试性能的更好局部最优解。我们还展示了如何通过随机变分推断使卷积模型可扩展，以及如何通过全自然梯度方案对其优化。我们在玩具与真实数据库上比较了不同方法的性能。
引用
@article{arxiv.1911.10225,
title = {A Fully Natural Gradient Scheme for Improving Inference of the Heterogeneous Multi-Output Gaussian Process Model},
author = {Juan-José Giraldo and Mauricio A. Álvarez},
journal= {arXiv preprint arXiv:1911.10225},
year = {2020}
}
备注
we have rewritten: sections 2 and 3, included details of the HetMOGP and our proposed inference method in sections 4 and 6; a brief state-of-the-art review of MOGPs in 4.1; included a novel extension of the HetMOGP with convolution processes in 5. We derived the fully natural gradient updates for the new model in section 6.2; new results and discussion in experiments section; new appendices added