基于分层中间预测的过渡不确定性
机器学习
2024-06-04 v2
摘要
在本文中，我们讨论用于单次不确定性估计的特征工程。为了获得准确的不确定性估计，神经网络必须提取特征空间中能够量化不确定性的差异。这可以通过当前在数据点穿越网络时保持其特征距离的单次方法来实现。虽然初步结果令人鼓舞，但在网络表示中保持特征距离往往会阻碍信息压缩，并与学习目标相悖。我们从理论和经验上研究了这种效应，得出了一个简单的结论：当保留的特征有助于学习标签分布时，在输出中保持特征距离是有益的，否则将起反作用。然后，我们提出了基于分层中间预测的过渡不确定性 (TULIP) 作为一种简单的方法，以解决当前单次估计器的缺陷。具体而言，我们通过在信息被后续层坍缩之前从中间表示中提取特征来实现特征保留。我们将这种潜在的保留机制称为过渡特征保留。我们表明，TULIP 在标准基准测试以及这些方法可靠性较低的实际场景（不平衡、复杂架构、医疗模态）中，均达到或优于当前的单次方法。
引用
@article{arxiv.2405.17494,
title = {Transitional Uncertainty with Layered Intermediate Predictions},
author = {Ryan Benkert and Mohit Prabhushankar and Ghassan AlRegib},
journal= {arXiv preprint arXiv:2405.17494},
year = {2024}
}