中文

数据草图与堆叠:高维特征下的高斯过程回归预测推断中的两种策略的融合

统计方法学 2024-09-27 v2

摘要

本文聚焦于在响应变量在给定投影到带噪低维流形给定条件下独立于特征的前提下,如何从具有大量特征的高斯过程(GP)回归中进行计算高效的预测推断。当然,由于准确变量选择在如此高维的GP回归中几乎不可能,利用马尔可夫链蒙特卡罗(MCMC)进行贝叶斯回归关系估计,随后进行预测推断将导致计算昂贵且可能引发推断不准,因为准确的变量选择在高维GP回归中几乎不可能。作为一种替代方案,本文提出一种策略:在拟合包含标量结果和草图特征向量的GP之前,使用精心构造的草图矩阵对高维特征向量进行草图处理。分析在多个不同的草图矩阵和不同处理器中的不同平滑参数下并行执行,预测推断通过贝叶斯预测堆叠进行组合。由于每个处理器中后验预测分布解析可解,算法允许绕过由于MCMC链收敛性和混合性导致的鲁棒性问题,从而实现快速部署,能够处理非常大的特征数量。模拟研究表明,所提出的方法在广泛的各种竞争方法中表现优异。该方法在从卫星图像中绘制室外空气污染的点预测及其预测不确定性方面优于竞争方法。

关键词

引用

@article{arxiv.2406.18681,
  title  = {Data Sketching and Stacking: A Confluence of Two Strategies for Predictive Inference in Gaussian Process Regressions with High-Dimensional Features},
  author = {Samuel Gailliot and Rajarshi Guhaniyogi and Roger D. Peng},
  journal= {arXiv preprint arXiv:2406.18681},
  year   = {2024}
}

备注

32 Pages, 10 Figures