归因AUC-ROC以分析二分类器性能
机器学习
2022-05-25 v1
摘要
接收者操作特征曲线下面积(AUC-ROC)是二分类器的常用评估指标。本文讨论沿人类可解释维度对AUC-ROC进行切分的技巧。AUC-ROC并非数据样本上的可加/线性函数，因此这种对整体AUC-ROC的切分不同于罗列数据段的AUC-ROC。要切分整体AUC-ROC，我们必须先解决一个\emph{归因}问题以识别单个样本的功劳。我们观察到，AUC-ROC虽在样本上非线性，但在样本\emph{对}上是线性的。该观察引出了一种简单、高效的样本归因（例归因）与样本对归因（对归因）技术。我们通过让决策树预测这些归因值来自动切分；我们利用诚实估计概念与t检验来抑制错误发现。我们的方法实验显示，劣模型可在其自身训练目标上胜出优模型（优模型被训练以优化不同训练目标），这是古德哈特定律的一种表现。相反，AUC归因可实现合理比较。例归因可用于切分该比较。对归因用于归类模型难以区分的正标与负标样本对。这些类别辨识了分类器的决策边界及提升AUC的空间。
引用
@article{arxiv.2205.11781,
title = {Attributing AUC-ROC to Analyze Binary Classifier Performance},
author = {Arya Tafvizi and Besim Avci and Mukund Sundararajan},
journal= {arXiv preprint arXiv:2205.11781},
year = {2022}
}