大规模高斯过程回归的拼布克里金法

本文提出了一种用于大规模数据集的高斯过程 (GP) 回归新方法。该方法将回归输入域划分为多个局部区域，并在每个区域拟合不同的局部 GP 模型。与现有的局部划分 GP 方法不同，我们引入了一种将局部 GP 模型近乎无缝拼接的技术，以确保两个相邻区域的局部 GP 模型在两者边界上产生几乎相同的响应预测和预测误差方差。这在很大程度上缓解了降低现有局部划分 GP 方法边界精度的著名不连续问题。我们的主要创新是将连续性条件表示为额外的伪观测，即在适当选择的边界输入位置集上相邻 GP 响应之间的差异恒为零。为了预测任意输入位置的响应，我们简单地将实际响应观测与伪观测增广，并对增广数据应用标准 GP 预测方法。与启发式连续性调整相比，这具有在形式化 GP 框架内工作的优势，从而基于 GP 的预测不确定性量化保持有效。我们的方法还继承了样本协方差矩阵的稀疏块状结构，从而产生计算高效的预测均值和方差的闭式表达式。此外，我们提供了一种基于沿局部主成分方向递归空间划分的新空间划分方案，使得所提方法适用于具有多于两维的回归域。使用三个空间数据集和三个高维数据集，我们研究了该方法的数值性能，并将其与几种最先进的方法进行比较。