具有任意非线性贝叶斯神经网络的少样本变分推断
机器学习
2024-10-22 v5
摘要
贝叶斯神经网络（Bayesian Neural Networks, BNNs）扩展了传统神经网络，能够提供与其输出相关的不确定性。在BNN的前向传播过程中，预测（及其不确定性）要么通过从学习到的后验分布中进行蒙特卡洛采样网络权重，要么通过解析地在网络中传播统计矩来实现。尽管蒙特卡洛采样很灵活，但计算成本高昂，在资源受限或大型网络下可能不可行或不切实际。虽然矩传播可以改善BNN推断的计算成本，但对于具有任意非线性的网络，它可能困难或不可能实现，从而限制了该方案下允许的网络层集合。在这项工作中，我们展示了一种简单而有效的方法，仅用3个确定性样本即可通过任意非线性传播统计矩，从而实现了BNN的少样本变分推断，且不限制所使用的网络层集合。此外，我们利用这种方法展示了一种新颖的非线性激活函数，我们用它来将物理信息先验知识注入到BNN的输出节点中。
引用
@article{arxiv.2405.02063,
title = {Few-sample Variational Inference of Bayesian Neural Networks with Arbitrary Nonlinearities},
author = {David J. Schodt},
journal= {arXiv preprint arXiv:2405.02063},
year = {2024}
}
备注
Comment 1: Fixed plot markers in figure 6 to match legend and to improve grayscale appearance Comment 2: Fixed mistyped value for optimizer learning rate