修复ReLU贝叶斯网络渐近过度自信的无限特征扩展
机器学习
2022-01-25 v5 机器学习
摘要
贝叶斯处理可以缓解ReLU网络在训练数据附近的过度自信。但在远离训练数据时，具有有限特征的ReLU贝叶斯神经网络（BNN）仍可能低估不确定性，从而表现出渐近过度自信。这一问题源于有限特征BNN的输出方差与距数据区域的距离呈二次关系。与此同时，具有ReLU特征的贝叶斯线性模型在无限宽度极限下收敛于一个特定的高斯过程（GP），其方差以三次方式增长，因此不会出现渐近过度自信。尽管这看似主要具有理论意义，本工作表明它可在实践中惠及BNN。我们通过GP扩展有限ReLU BNN并加入无限ReLU特征，表明所得模型在远离数据时渐近最大不确定，而在数据附近BNN的预测能力不受影响。尽管所得模型近似于完整的GP后验，但得益于其结构，它可以以低成本事后应用于任何预训练的ReLU BNN。
引用
@article{arxiv.2010.02709,
title = {An Infinite-Feature Extension for Bayesian ReLU Nets That Fixes Their Asymptotic Overconfidence},
author = {Agustinus Kristiadi and Matthias Hein and Philipp Hennig},
journal= {arXiv preprint arXiv:2010.02709},
year = {2022}
}
备注
NeurIPS 2021