PI3NN：基于三个神经网络的分布外感知预测区间
机器学习
2022-03-17 v3
摘要
我们提出了一种用于不确定性量化的新颖预测区间（PI）方法，解决了最先进 PI 方法的三个主要问题。首先，现有 PI 方法需要对每个给定置信水平重新训练神经网络（NN），并且在计算多个 PI 时存在交叉问题。其次，它们通常依赖带有额外敏感超参数的定制损失函数，需要精细调参以获得良好校准的 PI。第三，它们通常低估分布外（OOD）样本的不确定性，导致过度自信的 PI。我们的 PI3NN 方法通过三个 NN 的线性组合计算 PI，每个 NN 均使用标准均方误差损失独立训练。线性组合的系数通过求根算法计算，以确保给定置信水平下的紧致 PI。我们从理论上证明 PI3NN 可在不重新训练 NN 的情况下计算一系列置信水平的 PI，并完全避免交叉问题。此外，PI3NN 不引入任何异常超参数，从而性能稳定。进一步，我们通过引入一种初始化方案来解决 OOD 识别难题，该方案使 OOD 样本比分布内样本具有合理更大的 PI。基准和真实世界实验表明，我们的方法在预测不确定性质量、鲁棒性和 OOD 样本识别方面优于多种最先进方法。
引用
@article{arxiv.2108.02327,
title = {PI3NN: Out-of-distribution-aware prediction intervals from three neural networks},
author = {Siyan Liu and Pei Zhang and Dan Lu and Guannan Zhang},
journal= {arXiv preprint arXiv:2108.02327},
year = {2022}
}