從淺層貝葉斯神經網路到高斯过程：通用收斂、可識別性與可擴展推斷
机器学习
2026-02-27 v1 人工智能
机器学习
摘要
本文研究了淺層貝葉斯神經網路(BNNs)的擴展極限，其與高斯過程(GPs)之間的關聯，尤其是在統計建模、可識別性和可擴展推斷方面。我們首先通過放寬先前公式中使用的假設，建立從 BNNs 到 GPs 的一般收斂結果，並比較替代方案的參數化限制 GP 模型。基於此理論，我們提出了一種新型的協方差函數，定義為由四種廣泛使用的激活函數所觸發的組件的凸組合，並描述了關鍵特性，包括正定性以及在不同輸入設計下的嚴格和實用可識別性。就計算而言，我們發展了一個可擴展的最大後驗(MAP)訓練和預測程序，使用 Nystr"om 近似，並展示了 Nystr"om 秩和錨點選擇如何控制成本-精度權衡。對受控模擬和真實世界表格數據集的實驗表明，模型在現實可接受的計算成本下，能夠穩定地估計超參數並實現具競爭力的預測績效。
引用
@article{arxiv.2602.22492,
title = {From Shallow Bayesian Neural Networks to Gaussian Processes: General Convergence, Identifiability and Scalable Inference},
author = {Gracielle Antunes de Araújo and Flávio B. Gonçalves},
journal= {arXiv preprint arXiv:2602.22492},
year = {2026}
}
备注
29 pages, 4 figures, 8 tables. Supplementary material included