利用校准置信度进行二分类性能估计

模型监控是机器学习生命周期的关键组成部分，用于防止模型部署后性能未被检测到的下降。传统上，性能监控需要访问真实标签，而这些标签并非总是容易获取。这可能导致不可接受的延迟，甚至使性能监控完全不可能。最近，无需访问标签即可估计分类器模型准确率的方法已展现出有前景的结果。然而，还有各种其他指标可能更适合评估许多情况下的模型性能。截至目前，这些重要指标尚未受到科学界的类似关注。在本工作中，我们通过提出CBPE来解决这一空白，这是一种可以估计任何使用混淆矩阵定义的二分类指标的新方法。特别地，我们从这一大类中选择了四个指标：准确率、精确率、召回率和F₁，以展示我们的方法。CBPE将混淆矩阵的元素视为随机变量，并利用模型的校准置信度分数来估计其分布。所需指标也被视为随机变量，其完整概率分布可从估计的混淆矩阵中导出。CBPE被证明能够产生具有强理论保证和有效置信区间的估计。