Logit 不一致：基于贝叶斯神经网络的 OoD 检测

Kevin Raina

Logit 不一致：基于贝叶斯神经网络的 OoD 检测

机器学习 2025-02-24 v1 计算机视觉与模式识别机器学习

作者: Kevin Raina

摘要

贝叶斯神经网络 (BNN) 通过估计模型参数的完整后验分布，因其在不确定性量化及其在离分布检测 (OoD) 中的前景应用而闻名。除了其他不确定性措施外，BNN 提供了预测熵 (总不确定性) 的最先进估计，该熵可分解为相互信息和期望熵的和。在 OoD 检测的背景下，预测不确定性以预测熵得分形式的估计混合了阿尔泰拉不确定性和贝伯蒂斯不确定性，后者被假设在 OoD 点上具有较高水平。尽管如此，相互信息得分已被证明在预测熵方面表现更差。借鉴贝叶斯变分自编码器 (BVAE) 文献中方法，本工作提议测量校正后的前softmax 量（即逻辑值）之间的不一致性，作为贝叶斯神经网络在均值场变分推断下估计贝伯蒂斯不确定性的一种方法。三个提议的贝伯蒂斯不确定性得分在广泛的 OoD 实验中显著优于相互信息，其他方面性能相当。此外，贝伯蒂斯不确定性得分在 MNIST 和 CIFAR10 实验中与贝叶斯基准预测熵相当。

关键词

贝叶斯神经网络离分布检测相互信息预测熵逻辑值

引用

@article{arxiv.2502.15648,
  title  = {Logit Disagreement: OoD Detection with Bayesian Neural Networks},
  author = {Kevin Raina},
  journal= {arXiv preprint arXiv:2502.15648},
  year   = {2025}
}

备注

Presented at ECCV 2024 Workshop: 3rd Workshop on Uncertainty Quantification for Computer Vision

Logit 不一致：基于贝叶斯神经网络的 OoD 检测

摘要

关键词

引用

备注

相关论文