EigenGP：具有数据依赖特征函数的稀疏高斯过程模型

高斯过程（GPs）提供了函数的非参数表示。然而，经典的高斯过程推断计算成本高昂，且在实践中难以设计非平稳高斯过程先验。在本文中，我们基于高斯过程先验的 Karhunen-Loeve (KL) 展开，提出了一种名为 EigenGP 的稀疏高斯过程模型。我们使用 Nystrom 近似来获得数据依赖的特征函数，并通过证据最大化选择这些特征函数。这种选择减少了模型中特征函数的数量，并提供了非平稳协方差函数。为了处理非线性似然，我们开发了一种高效的期望传播（EP）推断算法，并将其与用于特征函数选择的期望最大化相结合。由于高斯核的特征函数与样本簇（包括标记和未标记样本）相关联，选择相关的特征函数使 EigenGP 能够进行半监督学习。实验结果表明，在回归、分类和半监督分类任务中，EigenGP 的预测性能优于其他最先进的稀疏高斯过程和半监督学习方法。