高斯过程 Kolmogorov-Arnold 网络
星系天体物理
2024-07-29 v1 天体物理仪器与方法
摘要
本文引入一种对 Kolmogorov-Arnold 网络 (KANs) 的概率扩展，通过将高斯过程 (GP) 作为非线性神经元，我们称为 GP-KAN。通过考虑 GP 函数样本与输入分布的函数内积，实现了对一个 GP 的输出分布作为另一个 GP 输入的完全解析方法。这些 GP 神经元在使用较少参数的同时展现出稳健的非线性建模能力，可轻松且完全集成到前馈网络结构中。它们为模型预测提供内在的不确定性估计，可直接在对数似然目标函数上进行训练，无需变分下界或近似。在 MNIST 分类任务中，基于 GP-KAN 的模型（参数量为 8 万）实现了 98.5% 的预测准确率，较当前最先进模型（参数量为 150 万）显著提升。
引用
@article{arxiv.2407.18396,
title = {Galaxy Mergers in UNIONS -- I: A Simulation-driven Hybrid Deep Learning Ensemble for Pure Galaxy Merger Classification},
author = {Leonardo Ferreira and Robert W. Bickley and Sara L. Ellison and David R. Patton and Shoshannah Byrne-Mamahit and Scott Wilkinson and Connor Bottrell and Sébastien Fabbro and Stephen D. J. Gwyn and Alan McConnachie},
journal= {arXiv preprint arXiv:2407.18396},
year = {2024}
}
备注
23 pages, 16 figures. Accepted for publication in MNRAS