从分类准确率到恰当评分规则：概率性Top列表预测的可 elicitable 性
统计方法学
2023-05-31 v1 机器学习
摘要
面对不确定性，文献中早已认识到概率性评估的必要性。然而在分类中，对分类器的比较评估通常聚焦于通过简单准确率度量指定单一类别的预测，这忽视了任何概率性不确定性量化。我提出概率性 top 列表作为一种新颖的分类预测类型，它弥合了单类预测与预测分布之间的鸿沟。概率性 top 列表泛函通过使用严格一致的评估度量是可 elicitable 的。所提出的评估度量基于对称恰当评分规则，并允许比较从单类点预测到完全指定的预测分布等各类预测。Brier 分数给出了一种特别适用于此类比较的度量。
引用
@article{arxiv.2301.11797,
title = {From Classification Accuracy to Proper Scoring Rules: Elicitability of Probabilistic Top List Predictions},
author = {Johannes Resin},
journal= {arXiv preprint arXiv:2301.11797},
year = {2023}
}