基于保序预测的深度学习模型脱校准检测
机器学习
2024-05-07 v1 人工智能
摘要
深度学习模型的黑盒特性使其在诸如遥感等关键应用中使用受到限制。保序预测是一种确保可信赖的方法。在数据可交换性假设下，保序预测以有限样本覆盖保证形式提供预测集，确保预测集包含真实类别。本文指出，保序预测算法与深度学习模型的不确定性密切相关，这一关系可用于检测深度学习模型是否脱校准。ResNet50、DenseNet161、InceptionV3和MobileNetV2等流行分类模型应用于EuroSAT等遥感数据集，以演示在噪声场景下模型输出会变得不可信。此外，本文提出了一种脱校准检测程序，将模型不确定性与保序预测集的平均大小关联起来。
引用
@article{arxiv.2405.02634,
title = {Onboard Out-of-Calibration Detection of Deep Learning Models using Conformal Prediction},
author = {Protim Bhattacharjee and Peter Jung},
journal= {arXiv preprint arXiv:2405.02634},
year = {2024}
}