论基于贝叶斯神经网络的分布外检测

输入是否对神经网络所试图解决的问题有效这一问题引发了人们对分布外（out-of-distribution，OOD）检测的兴趣。人们普遍假设贝叶斯神经网络（Bayesian neural networks，BNNs）非常适于该任务，因为其所赋予的认知不确定性应导致对离群点在预测上产生分歧。在本文中，我们质疑这一假设，并表明由神经网络诱导的函数空间先验下的恰当贝叶斯推断未必带来良好的 OOD 检测。为规避近似推断的使用，我们首先研究无限宽度情形，其中由于与高斯过程的对应关系，贝叶斯推断可精确进行。引人注目地，由常见架构选择导出的核导致函数空间先验，其诱导的预测不确定性并不能反映潜在的输入数据分布，因此不适用于 OOD 检测。重要的是，我们发现这一极限情形下的 OOD 行为与相应的有限宽度情形一致。为克服此局限，有用的函数空间性质亦可编码于权重空间先验中，然而这目前仅能应用于指定域的子集，因而不能固有地扩展到 OOD 数据。最后，我们认为泛化与 OOD 能力之间的权衡可能使得在实践中将 BNNs 用于 OOD 检测变得不可取。总体而言，我们的研究揭示了朴素地将 BNNs 用于 OOD 检测时的根本问题，并开辟了未来研究的有趣途径。