关于偏贝叶斯神经网络的费曼-卡茨训练
机器学习
2024-02-28 v3 机器学习
摘要
近来，仅将部分参数视为随机变量的偏贝叶斯神经网络（pBNN）被证明在与全贝叶斯神经网络的竞争中表现相当。然而，pBNN 在潜变量空间中常为多模态，因此难以用参数化模型逼近。为解决该问题，我们提出一种高效的基于采样的训练策略，其中 pBNN 的训练被表述为模拟一个费曼-卡茨（Feynman–Kac）模型。随后我们描述了序贯蒙特卡洛（sequential Monte Carlo）采样器的若干变体，使得我们能够以可控的计算代价同时估计该模型的参数与潜后验分布。利用多个合成与真实世界数据集，我们表明所提出的训练方案在预测性能上优于当前最优（state of the art）方法。
引用
@article{arxiv.2310.19608,
title = {On Feynman--Kac training of partial Bayesian neural networks},
author = {Zheng Zhao and Sebastian Mair and Thomas B. Schön and Jens Sjölund},
journal= {arXiv preprint arXiv:2310.19608},
year = {2024}
}
备注
In AISTATS 2024