基于最近邻的高度可扩展高斯过程回归理论与实践

高斯过程（$GP$）回归是一种广泛使用的非参数建模工具，但其对训练规模的平方复杂度限制了其在大规模数据集上的应用。一个实用方法是仅使用每个测试点的最近邻进行预测，如用于地理空间问题的最近邻高斯过程（$NNGP$）回归以及更通用机器学习应用的相关可扩展 $GPnn$ 方法。尽管这些方法在实际应用中表现优异，但 $NNGP$/GPnn 的大 $n$ 理论仍不完整。我们为 $NNGP$ 和 $GPnn$ 回归开发了理论框架。在温和的正则性假设下，我们推导出三项关键预测准则的几乎sure点估计：均方误差（$MSE$）、校准系数（$CAL$）和负对数似然（$NLL$）。随后我们研究 $L_2$ 风险，证明了普遍一致性，并展示了风险达到 Stone 的最小混合率 $n^{-2\alpha/(2p+d)}$，其中 $\alpha$ 和 $p$ 刻画回归问题的正则性。我们还证明了 $MSE$ 在紧凑超参数集合上的均匀收敛，并展示了其关于长度尺度、核尺度和噪声方差的导数在渐近意义上消失，并给出显式的收敛速率。这解释了 $GPnn$ 对超参数调优的观察鲁棒性。这些结果为 $NNGP$/GPnn$作为高度可扩展且原则化的全$GP$ 模型替代方案提供了严谨的统计基础。