高斯过程多重折交叉验证残差及其协方差的快速计算
统计方法学
2023-06-06 v3 统计计算
机器学习
摘要
我们将快速高斯过程留一法公式推广到多重折交叉验证，并依次阐明了简单与泛克里金框架下交叉验证残差的协方差结构。我们说明了所得协方差如何影响模型诊断。我们进一步在无噪声观测情形下证明，在基于交叉验证的尺度参数估计中对残差间协方差进行修正可回到极大似然估计(MLE)。此外，在更一般的设定下我们阐明，伪似然与似然方法的差异归根结底在于是否考虑残差协方差。所提出的交叉验证残差快速计算被实现并与朴素实现进行基准对比。数值实验凸显了我们方法所实现的精度与大幅加速。然而，正如关于计算成本主要驱动因素的讨论及数值基准所示，当折数（例如各折大小相同）减少时加速比急剧下降。一个污染物定位测试用例的应用表明，与留一法相比，将聚集观测分组到折中有助于改进模型评估与参数拟合。总体而言，我们的结果实现了快速多重折交叉验证，对模型诊断具有直接影响，并为超参数拟合及大有前景的目标导向折设计领域的未来工作铺平了道路。
引用
@article{arxiv.2101.03108,
title = {Fast calculation of Gaussian Process multiple-fold cross-validation residuals and their covariances},
author = {David Ginsbourger and Cedric Schärer},
journal= {arXiv preprint arXiv:2101.03108},
year = {2023}
}