高斯过程中更快速核插值方法
机器学习
2021-08-16 v2 人工智能
摘要
将高斯过程(GP)回归扩展到海量数据集的一个关键挑战在于,精确推断需要与一个稠密的 n x n 核矩阵进行运算,其中 n 为数据点数量。大量工作聚焦于通过使用较小的 m 个诱导点集合进行插值来近似核矩阵。结构化核插值(SKI)是最具可扩展性的方法之一:通过将诱导点置于稠密网格上并利用结构化矩阵代数,SKI 在近似推断中实现了 O(n + m log m) 的每次迭代时间。这种关于 n 的线性缩放使得针对非常大数据集的推断成为可能;然而该代价是每次迭代的,对于极大的 n 仍是一个局限。我们表明,通过将 SKI 重构为使用一组固定的 m 个紧致基函数求解自然的贝叶斯线性回归问题,在单次 O(n) 时间预计算步骤之后,SKI 的每次迭代时间可降低至 O(m log m)。由于对于固定网格,每次迭代复杂度与数据集大小 n 无关,我们的方法可扩展到真正海量的数据集。我们在广泛的 m 和 n 范围内展示了实际的加速效果,并将该方法应用于包含超过 1 亿个点的三维气象雷达数据集上的 GP 推断。
引用
@article{arxiv.2101.11751,
title = {Faster Kernel Interpolation for Gaussian Processes},
author = {Mohit Yadav and Daniel Sheldon and Cameron Musco},
journal= {arXiv preprint arXiv:2101.11751},
year = {2021}
}
备注
To appear, Artificial Intelligence and Statistics (AISTATS) 2021