Rashomon 容量：分类中预测多样性的度量指标
机器学习
2022-10-21 v2 信息论
math.IT
机器学习
摘要
当性能统计上不可区分的分类模型对个体样本赋予冲突的预测时，就会发生预测多样性（predictive multiplicity）。当用于有重要影响的应用（例如借贷、教育、刑事司法）中的决策时，未经考虑预测多样性而开发的模型可能对特定个体导致无据且任意的决策。我们引入一种称为 Rashomon 容量（Rashomon Capacity）的新度量，以衡量概率分类中的预测多样性。先前关于预测多样性的度量侧重于输出阈值化（即 0-1）预测类别的分类器。相反，Rashomon 容量适用于概率分类器，捕捉个体样本更细微的分数变化。我们给出了 Rashomon 容量的严格推导，论证其直观吸引力，并展示如何在实践中估计它。我们表明 Rashomon 容量产生了向利益相关者披露冲突模型的原则性策略。我们的数值实验说明了 Rashomon 容量如何在各种数据集和学习模型（包括神经网络）中捕捉预测多样性。本文引入的工具可帮助数据科学家在模型部署前衡量并报告预测多样性。
引用
@article{arxiv.2206.01295,
title = {Rashomon Capacity: A Metric for Predictive Multiplicity in Classification},
author = {Hsiang Hsu and Flavio du Pin Calmon},
journal= {arXiv preprint arXiv:2206.01295},
year = {2022}
}
备注
NeurIPS 2022 camera-ready version (34 pages, 23 figures, 2 tables)