NNGP 核与 Matern 核的对应关系
机器学习
2024-10-14 v1 机器学习
摘要
最近，代表神经网络架构极限情况的核函数获得了广泛关注。然而，这些新型核函数与现有选项（如 Matern 核）的应用和性能尚未得到充分研究。我们采用实用方法探索神经网络高斯过程（NNGP）核及其在高斯过程回归中的应用。我们首先演示了归一化以产生有效 NNGP 核的必要性，并探讨了相关的数值挑战。我们进一步表明，该模型的预测相当于灵活的，因此不会在有效超参数集合之间产生很大差异。随后，我们展示了一个惊人的发现，即 NNGP 核给出的预测与 Matern 核在特定情况下对应的结果，这表明过参数化深度神经网络与 Matern 核之间存在深刻的相似性。最后，我们在三个基准数据案例中比较了 NNGP 核与 Matern 核的性能，并得出结论就其灵活性和实际性能而言，Matern 核优于新颖的 NNGP。
引用
@article{arxiv.2410.08311,
title = {Correspondence of NNGP Kernel and the Matern Kernel},
author = {Amanda Muyskens and Benjamin W. Priest and Imene R. Goumiri and Michael D. Schneider},
journal= {arXiv preprint arXiv:2410.08311},
year = {2024}
}
备注
17 pages, 11 figures