谁需要准确模型？主张以不同度量严肃对待分类模型
机器学习
2019-10-23 v2 机器学习
摘要
随着基于 AI 的决策支持日益可用，AI 制造商与公告机构对其认证以及这些系统的务实（真实世界）验证需求日益增长。因此，需要有意义且信息丰富的方式来评估 AI 系统在临床实践中的表现。常用度量（如准确率分数与 ROC 曲线下面积）存在已知问题，且未考虑关于临床医生偏好及其专科实践需求的重要信息，如错误的概率与影响以及病例的复杂度。在本文中，我们提出一种新的准确率度量，H-准确率（Ha），我们声称其在医学领域（及具有类似需求的其他领域）因其所涵盖要素而更具信息量。我们还证明 H-准确率是平衡准确率的推广，并建立 H-准确率与净收益之间的关系。最后，我们通过两项用户研究中的实验来说明 Ha 分数的描述能力，以及如何从其公式中导出互补且信息不同的度量（用于计算 Ha 的 Python 脚本也已提供）。
引用
@article{arxiv.1910.09246,
title = {Who wants accurate models? Arguing for a different metrics to take classification models seriously},
author = {Federico Cabitza and Andrea Campagner},
journal= {arXiv preprint arXiv:1910.09246},
year = {2019}
}
备注
https://github.com/AndreaCampagner/uncertainpy