评估跨运营情境下的分类性能：决策曲线分析与代价曲线比较
机器学习
2025-09-30 v1 机器学习
摘要
分类模型通常会预测得分并使用决策阈值生成分类。合适的模型评估应仔细考虑模型将被使用的情境，包括正确分类正例与负例的相对价值，这会影响应使用的阈值。决策曲线分析（DCA）和代价曲线是两种评估模型预测在不同决策阈值下预期效用与预期损失的方法。我们比较了 DCA 和代价曲线，确定它们的关系及各自的优势与局限。我们演示决策曲线与称为 Brier 曲线的特定类型代价曲线密切相关。这两种曲线均假设模型得分已校准，并通过正确分类正负样本的相对价值来设置分类阈值，两者的 x 轴等价。在给定阈值处，Brier 损失（Brier 曲线使用）与净收益（DCA 使用）总是会选择相同的模型作为最优。跨阈值而言，Brier 损失的差异相当于净收益的差异无法直接比较。Brier 曲线更为普遍适用（当更广泛的阈值范围是合理的），其下临界值即 Brier 分数。我们演示可包含在两种空间中的参考线，并建议上包络决策曲线作为 DCA 的有用比较，显示通过校准可实现的净收益潜在提升。
引用
@article{arxiv.2509.24608,
title = {Evaluating classification performance across operating contexts: A comparison of decision curve analysis and cost curves},
author = {Louise AC Millard and Peter A Flach},
journal= {arXiv preprint arXiv:2509.24608},
year = {2025}
}