贝叶斯变分自编码器是否知道它们不知道什么？
机器学习
2023-01-02 v1 机器学习
摘要
检测分布外（OoD）输入的问题对深度神经网络而言至关重要。先前的研究表明，即便是能够估计输入密度的深度生成模型也可能不可靠，并且常常对 OoD 输入做出过度自信的预测，赋予它们的密度高于分布内数据。单一模型中的这种过度自信可通过考虑认知不确定性的模型参数上的贝叶斯推断来潜在缓解。本文研究了三种贝叶斯推断方法：随机梯度马尔可夫链蒙特卡洛、反向传播贝叶斯（Bayes by Backpropagation）和随机权重平均-高斯（Stochastic Weight Averaging-Gaussian）。该推断在参数化变分自编码器似然的深度神经网络的权重上实现。我们针对几个常用于 OoD 检测的基准对这些方法进行经验评估：利用采样模型集成估计边际似然、典型性检验、不一致分数以及 Watanabe-Akaike 信息准则。最后，我们提出了两个简单的分数，展示了最先进的性能。
引用
@article{arxiv.2212.14272,
title = {Do Bayesian Variational Autoencoders Know What They Don't Know?},
author = {Misha Glazunov and Apostolis Zarras},
journal= {arXiv preprint arXiv:2212.14272},
year = {2023}
}
备注
Accepted for the 38th Conference on Uncertainty in Artificial Intelligence (UAI 2022)