利用局部性与鲁棒性实现大规模可扩展的高斯过程回归
机器学习
2023-12-29 v2 机器学习
摘要
GP回归所提供的准确预测与原则性不确定性度量带来O(n^3)的计算代价，对现代大规模应用难以承受。这促使了广泛的计算高效近似研究。我们通过对GP最近邻（GPnn）预测的鲁棒性与极限行为进行探索，引入新的视角。我们通过理论与仿真证明，随着数据规模n增大，参数估计的准确性与GP模型假设对GPnn预测精度变得愈发无关。因此，即便存在严重误设定，只需在参数估计上花费少量计算即可获得高MSE精度。相反，当n趋于无穷时，不确定性校准与NLL仍对单一参数即加性噪声方差敏感；但我们表明该不准确来源可被修正，从而以极低计算代价同时获得良好校准的不确定性度量与准确预测。我们展示了一种极简的GPnn回归算法，在大型UCI数据集上相较其他前沿GP近似表现突出。其训练代价仅为那些方法的一小部分，例如在基础笔记本电脑上训练规模n = 1.6 x 10^6的数据集约需30秒。
引用
@article{arxiv.2306.14731,
title = {Leveraging Locality and Robustness to Achieve Massively Scalable Gaussian Process Regression},
author = {Robert Allison and Anthony Stephenson and Samuel F and Edward Pyzer-Knapp},
journal= {arXiv preprint arXiv:2306.14731},
year = {2023}
}