从深度加法性核学习到最后一层贝叶斯神经网络：通过诱导先验近似
机器学习
2025-02-18 v1 机器学习
摘要
尽管深度核学习（Deep Kernel Learning, DKL）在计算层面具有挑战性——尤其是当其中的高斯过程（GP）层输入维度较高时——但该方法因结合了深度学习和诸如高斯过程（GPs）等核方法的优势，近年来受到广泛关注。为此，我们提出了深度加法性核（Deep Additive Kernel, DAK）模型，其包含：i) 最后一层高斯过程的加法结构；ii) 每个高斯过程单元的诱导先验近似。这自然导致了最后一层贝叶斯神经网络（BNN）架构。该方法既保留了DKL的可解释性，又具备BNN的计算优势。实验结果表明，所提出的方法在回归和分类任务中均优于当前最先进的DKL方法。
引用
@article{arxiv.2502.10540,
title = {From Deep Additive Kernel Learning to Last-Layer Bayesian Neural Networks via Induced Prior Approximation},
author = {Wenyuan Zhao and Haoyuan Chen and Tie Liu and Rui Tuo and Chao Tian},
journal= {arXiv preprint arXiv:2502.10540},
year = {2025}
}
备注
24 pages, 5 figures, presented at AISTATS 2025