将任意回归器与估计偶然不确定性的神经网络配对

我们提出了一种通用方法，用于量化人工神经网络在回归任务中不同形式的偶然不确定性。该方法基于同时训练两个神经网络，使用一个联合损失函数和一个特定的超参数 $\lambda>0$，该参数允许自动检测输入空间中的噪声区域和干净区域，并控制它们对损失及其梯度的相对贡献。模型训练完成后，其中一个网络执行预测，另一个网络通过估计第一个网络的局部平均损失来量化这些预测的不确定性。与许多经典的不确定性量化方法不同，我们不假设任何关于真实概率分布的先验知识，通常也不最大化某个选定参数分布族的似然。我们分析了学习过程以及输入空间中干净区域和噪声区域对损失曲面的影响，这种影响依赖于 $\lambda$。特别地，我们证明了较小的 $\lambda$ 值会增加干净区域对损失及其梯度的相对贡献。这解释了为什么选择较小的 $\lambda$ 能比没有不确定性对应部分的神经网络以及基于经典似然最大化的网络获得更好的预测。最后，我们证明可以自然地形成由我们的网络对构成的集成，从而同时捕获偶然不确定性和认知不确定性，并避免过拟合。