利用核密度估计分类置信度
机器学习
2022-09-16 v3 机器学习
摘要
本文研究“探索性”机器学习分类问题中置信度的事后校准。此类问题的困难源于在构建数据集时，人们持续希望拓展那些拥有足够样本以进行泛化的类别边界，以及对这些类别有效性的混淆。我们主张，对于此类问题，必须使用“一对多”方法（顶级标签校准），而非文献中他处所倡导的“校准完整响应矩阵”方法。我们提出并测试了四种新算法，旨在处理类别特定置信度估计的特殊性。这些方法的核心是使用核密度比进行置信度校准，包括一种新颖、稳健的带宽选择算法。我们在生物信息学应用（PhANNs）以及经典 MNIST 基准上检验了我们的主张并探索了校准的局限。最后，我们的分析认为，事后校准应始终执行，应仅基于测试数据集，并应通过可视化进行合理性检查。
引用
@article{arxiv.2207.06529,
title = {Estimating Classification Confidence Using Kernel Densities},
author = {Peter Salamon and David Salamon and V. Adrian Cantu and Michelle An and Tyler Perry and Robert A. Edwards and Anca M. Segall},
journal= {arXiv preprint arXiv:2207.06529},
year = {2022}
}