别管指标了——不确定性呢？可视化混淆矩阵指标分布

存在强烈的动机去构建在各种数据集与基准上展现卓越预测性能的模型。我们认为这些动机可能导致对模型及用于评估和比较它们的性能指标的狭隘关注——进而产生大量评估和比较指标的文献。本文力求以更平衡的视角看待分类器性能指标，通过强调它们在不同不确定性模型下的分布，并展示这种不确定性如何轻易掩盖分类器经验性能的差异。我们首先强调经验混淆矩阵的根本离散性质，并展示二元矩阵如何有意义地表示于三维组合格中，其截面构成接收者操作特征（ROC）曲线空间的基础。我们推导了该ROC空间内（及之外）性能指标等高线的方程、动画与交互式可视化，展示其中一些如何受类别不平衡影响。我们提供交互式可视化，展示ROC空间中真正率与假正率离散后验预测概率质量函数，以及它们如何与Balanced Accuracy（BA）和Matthews Correlation Coefficient（MCC）等性能指标的不确定性相关。我们希望这些洞见与可视化能提高对经验数据集与基准上评估分类器时性能度量估计中可能出现的实质性不确定性的意识，并且分类模型性能主张应受此理解所节制。