基于神经网络输出层分布的分类置信度估计
计算与语言
2022-10-19 v2
摘要
阻碍预测模型在现实世界中应用的最常见问题之一是缺乏泛化能力：在基准上测得的模型准确率无法在未来的数据（例如真实业务场景）上复现。现有估计预测模型置信度的方法相对较少。本文提出若干新方法，在给定神经网络分类模型的情况下，估计该模型生成的特定预测的不确定性。此外，我们提出一种方法，在给定模型和置信水平时，计算一个阈值，将该模型生成的预测划分为两个子集，其中之一的置信水平满足给定要求。与其他方法不同，所提方法不需要对现有神经网络做任何改动，因为它们直接构建于普通神经网络的输出 logit 层之上。具体而言，这些方法基于与该预测对应的 logit 值分布来推断特定预测的置信度。所提方法构成了一种工具，推荐用于知识抽取过程（例如基于网络爬取）中的预测过滤，其中识别出以召回率为代价最大化精度的预测子集，而由于数据的可得性，召回率的重要性较低。该方法已在关系抽取、命名实体识别和图像分类等不同任务上进行了测试，显示出准确率的显著提升。
引用
@article{arxiv.2210.07745,
title = {Confidence estimation of classification based on the distribution of the neural network output layer},
author = {Abdel Aziz Taha and Leonhard Hennig and Petr Knoth},
journal= {arXiv preprint arXiv:2210.07745},
year = {2022}
}
备注
Draft