探索无限宽度极限下神经网络隐式先验的不确定性性质

现代深度学习模型在许多数据模态的预测准确性上取得了巨大成功。然而，其在许多真实世界任务中的应用受到不良不确定性估计的限制，例如对分布外（OOD）数据的过度自信以及分布偏移下的不优雅失效。先前的基准测试发现，神经网络（NNs）集成通常是在 OOD 数据上校准最好的模型。受此启发，我们利用近期理论进展，将无限宽 NNs 集成在函数空间上的先验刻画为高斯过程，称为神经网络高斯过程（NNGP）。我们使用带有 softmax 链接函数的 NNGP 构建多类分类的概率模型，并对潜高斯输出边缘化以从后验中采样。这使我们更好地理解 NNs 在函数空间上施加的隐式先验，并允许直接比较 NNGP 与其有限宽类比的校准情况。我们还检验了先前使用 NNGP 进行分类的方法的校准，这些方法将分类问题视为对独热标签的回归。在此情况下贝叶斯后验是精确的，我们比较了几种启发式方法以生成类上的类别分布。我们发现这些方法在分布偏移下校准良好。最后，我们考虑无限宽最终层与预训练嵌入的结合。这复现了迁移学习这一重要实际用例，并允许扩展到显著更大的数据集。该方法在取得有竞争力的预测准确性的同时，比其有限宽类比校准更好。