Nyström 方法与稀疏变分高斯过程之间的联系与等价性
机器学习
2023-02-09 v2 机器学习
统计理论
统计方法学
统计理论
摘要
我们研究了用于使核方法与高斯过程（GPs）可扩展到大规模数据的稀疏近似方法之间的联系，重点关注 Nyström 方法与稀疏变分高斯过程（SVGP）。尽管用于 GPs 与核方法的稀疏近似方法具有一些代数上的相似性，但现有文献缺乏对其如何以及为何相关的深入理解。这可能会给 GP 与核方法两个研究群体之间的交流造成障碍，使得难以将结果从一方转移到另一方。我们的动机是通过厘清 GPs 与核方法稀疏近似之间的联系来消除这一障碍。在这项工作中，我们在回归问题的背景下研究了两种流行的方法，即 Nyström 与 SVGP 近似，并建立了它们之间的各种联系与等价性。特别地，我们给出了 SVGP 近似的 RKHS 解释，并表明 SVGP 的证据下界（Evidence Lower Bound）包含了 Nyström 近似的目标函数，揭示了两种方法之间代数等价性的起源。我们还研究了最近建立的 SVGP 收敛结果，以及它们与 Nyström 方法近似质量的关系。
引用
@article{arxiv.2106.01121,
title = {Connections and Equivalences between the Nystr\"om Method and Sparse Variational Gaussian Processes},
author = {Veit Wild and Motonobu Kanagawa and Dino Sejdinovic},
journal= {arXiv preprint arXiv:2106.01121},
year = {2023}
}
备注
39 pages