NOMU：基于神经优化的模型不确定性

我们研究回归中神经网络（NNs）模型不确定性的估计方法。为隔离模型不确定性的影响，我们聚焦于无噪声且训练数据稀缺的设置。我们引入关于模型不确定性的五个重要 desiderata，任何方法都应满足。然而，我们发现既定基准常无法可靠捕捉其中一些 desiderata，即便是贝叶斯理论所要求的那些。为此，我们引入一种捕获 NNs 模型不确定性的新方法，称为基于神经优化的模型不确定性（NOMU）。NOMU 的主要思想是设计一个由两个相连子 NN 组成的网络架构，一个用于模型预测，一个用于模型不确定性，并使用精心设计的损失函数训练它。重要的是，我们的设计强制 NOMU 满足我们的五个 desiderata。由于其模块化架构，若有给定（先前训练）NN 的训练数据访问权限，NOMU 可为其提供模型不确定性。我们在各种回归任务与具有昂贵评估的无噪声贝叶斯优化（BO）中评估 NOMU。在回归中，NOMU 表现至少与 SOTA 方法相当。在 BO 中，NOMU 甚至优于所有考虑的基准。