阈值选择方法：缺失的环节
人工智能
2012-01-31 v2
摘要
许多用于评估分类性能的性能指标已被提出，它们具有不同的起源和应用领域：准确率、宏准确率、ROC 曲线下面积、ROC 凸包、绝对误差以及 Brier 分数（及其分解为细化度和校准度）。理解其中一些指标之间关系的一种方法是利用可变操作条件（以误分类成本或类别比例的形式）。因此，一个指标可能对应于一定范围操作条件下的期望损失。分析的一个维度正是我们为该操作条件范围所采用的分布，这导致了在恰当评分规则领域的一些重要联系。然而，我们表明在性能指标的分析中还存在另一个未被关注的维度。这一新维度由决策规则给出，当使用评分模型时，该规则通常以阈值选择方法的形式实现。本文探讨了许多新旧阈值选择方法：固定法、分数均匀法、分数驱动法、速率驱动法以及最优法等。通过计算这些方法在均匀操作条件范围内的损失，我们分别得到了 0-1 损失、绝对误差、Brier 分数（均方误差）、AUC 以及细化损失。这提供了对性能指标的全面视角，以及一种系统化的损失最小化方法，即：选取一个模型，应用几种与当前及未来可用的操作条件信息相一致的阈值选择方法，并比较它们的期望损失。为了辅助这一过程，我们还推导了上述性能指标之间的若干联系，并强调了校准在阈值选择方法选择中的作用。
引用
@article{arxiv.1112.2640,
title = {Threshold Choice Methods: the Missing Link},
author = {José Hernández-Orallo and Peter Flach and Cèsar Ferri},
journal= {arXiv preprint arXiv:1112.2640},
year = {2012}
}