高斯过程 Kolmogorov-Arnold 网络
机器学习
2024-08-20 v2 机器学习
摘要
本文引入了对 Kolmogorov-Arnold 网络（KAN）的概率扩展，通过将高斯过程（GP）作为非线性神经元实现，我们称之为 GP-KAN。通过考虑 GP 函数样本与输入分布之间的函数内积，实现了对一个 GP 的输出分布作为输入传递给另一个 GP 的完整解析方法。这些 GP 神经元展现出鲁棒的非线性建模能力，参数数量少，可轻松且完全集成到前馈网络结构中。它们为模型预测提供内在的不确定性估计，可直接基于对数似然目标函数进行训练，无需变分下界或近似。在 MNIST 分类任务中，基于 GP-KAN 的模型（8 万参数）实现了 98.5% 的预测准确率，优于当前具有 150 万参数的前沿模型。
引用
@article{arxiv.2407.18397,
title = {Gaussian Process Kolmogorov-Arnold Networks},
author = {Andrew Siyuan Chen},
journal= {arXiv preprint arXiv:2407.18397},
year = {2024}
}
备注
related code: https://github.com/siyuan0/gp-kan Under review at IEEE