先验选择影响贝叶斯神经网络识别未知样本的能力
机器学习
2020-05-12 v1 人工智能
机器学习
摘要
深度贝叶斯神经网络（BNN）是一种强大的工具，尽管计算需求较高，但可在进行参数估计的同时联合预测不确定性。BNN 通常在模型参数上采用任意正态分布的先验分布来实现。本文探讨了不同先验分布对 BNN 分类任务的影响，并基于由马尔可夫链蒙特卡洛采样近似得到的后验概率以及通过计算得到贝叶斯因子来评估支持预测的证据。我们表明，先验的选择对模型将数据自信地分配到正确类别（真正率）的能力有显著影响。先验选择也显著影响 BNN 将分布外实例识别为未知（假正率）的能力。将我们的结果与采用蒙特卡洛 dropout 的神经网络（NN）比较时发现，BNN 通常优于 NN。最后，在我们的测试中未发现单一最佳先验分布选择。相反，每个数据集在不同先验下取得了最佳结果，表明测试替代选项可提升 BNN 的性能。
引用
@article{arxiv.2005.04987,
title = {Prior choice affects ability of Bayesian neural networks to identify unknowns},
author = {Daniele Silvestro and Tobias Andermann},
journal= {arXiv preprint arXiv:2005.04987},
year = {2020}
}