用于高斯过程的浅层与深层非参数卷积
机器学习
2022-10-19 v2 机器学习
摘要
高斯过程 (GPs) 实际应用中的一个关键挑战是选择合适的协方差函数。高斯过程的滑动平均或过程卷积构造提供了一定的灵活性，但仍然需要选择合适的平滑核，这并非易事。先前的方法通过在平滑核上使用 GP 先验，进而扩展到协方差上，以此来规避预先指定它的需求。然而，此类模型在几个方面受到限制：它们被限制为单维输入（例如时间）；它们仅允许对单一输出进行建模；并且由于推断不直接，它们无法扩展到大型数据集。在本文中，我们引入了一种用于 GPs 的非参数过程卷积公式，该公式通过使用基于 Matheron 规则的函数采样方法，利用 interdomain 诱导变量执行快速采样，从而缓解了这些弱点。此外，我们提出了这些非参数卷积的一种组合，作为经典深度 GP 模型的替代方案，并允许从数据中推断中间层的协方差函数。我们在单输出 GPs、多输出 GPs 和深度 GPs 的基准上测试了模型的性能，发现我们的方法相较于标准 GP 模型可以提供改进，特别是对于较大的数据集。
引用
@article{arxiv.2206.08972,
title = {Shallow and Deep Nonparametric Convolutions for Gaussian Processes},
author = {Thomas M. McDonald and Magnus Ross and Michael T. Smith and Mauricio A. Álvarez},
journal= {arXiv preprint arXiv:2206.08972},
year = {2022}
}
备注
19 pages, 7 figures. NP-DGP results and discussion updated