一种用于高斯过程稀疏化的快速贪婪子集数据(SoD)方案

标准形式下的高斯过程(GPs)为回归和分类任务提供了强大的非参数框架。其一个限制性性质是随 $N$（训练数据点数量）的 $\mathcal{O}(N^{3})$ 复杂度缩放。在本文中，我们提出了一种使用直观选择度量顺序选择训练数据点的 GP 训练框架。该贪婪前向选择策略旨在针对两个因素——高预测不确定性区域和欠拟合。在该技术下，若最终从 $N$ 中选出 $M$ 个数据点，则 GP 训练的复杂度降低为 $\mathcal{O}(M^{3})$（其中 $M \ll N$）。算法的顺序性质避免了对 $N \times N$ 维协方差矩阵求逆的需要，并使得能够使用有利的矩阵逆更新恒等式。我们概述了该算法以及对后验均值和方差的顺序更新。我们在选定的一维函数上演示了我们的方法，并表明与使用子集数据点相关的精度损失相对于计算收益而言是微小的。