一种通过距离感知改进单模型深度不确定性的简单方法
机器学习
2023-01-02 v2 机器学习
摘要
准确的不确定性量化是深度学习中的一大挑战，因为神经网络可能做出过度自信的错误预测，并对分布外（OOD）输入赋予高置信度预测。深度学习中估计预测不确定性最流行的方法是结合多个神经网络预测的方法，例如贝叶斯神经网络（BNNs）和深度集成（deep ensembles）。然而，由于较高的内存与计算成本，它们在实际的实时、工业规模应用中的实用性受限。此外，集成和 BNNs 并不一定能修复底层成员网络的所有问题。在本工作中，我们基于单一的确定性表示，研究改进单个网络不确定性性质的原则性方法。通过将不确定性量化形式化为一个极小极大学习问题，我们首先识别出距离感知——即模型量化测试样本距训练数据距离的能力——作为 DNN 实现高质量（即极小极大最优）不确定性估计的必要条件。随后我们提出谱归一化神经高斯过程（SNGP），这是一种通过两处简单改动来改进现代 DNN 距离感知能力的简单方法：（1）对隐藏权重施加谱归一化以强制表示的双 Lipschitz 平滑性；（2）将最后输出层替换为高斯过程层。在一系列视觉与语言理解基准上，SNGP 在预测、校准和域外检测方面优于其他单模型方法。此外，SNGP 对深度集成和数据增强等流行技术提供互补增益，使其成为概率深度学习中简单且可扩展的构建模块。代码开源于 https://github.com/google/uncertainty-baselines
引用
@article{arxiv.2205.00403,
title = {A Simple Approach to Improve Single-Model Deep Uncertainty via Distance-Awareness},
author = {Jeremiah Zhe Liu and Shreyas Padhy and Jie Ren and Zi Lin and Yeming Wen and Ghassen Jerfel and Zack Nado and Jasper Snoek and Dustin Tran and Balaji Lakshminarayanan},
journal= {arXiv preprint arXiv:2205.00403},
year = {2023}
}
备注
arXiv admin note: text overlap with arXiv:2006.10108