meval：用于细粒度模型性能分析的统计工具箱
机器学习
2025-12-22 v1 应用统计
统计方法学
机器学习
摘要
对机器学习模型性能进行分层分析（按患者和记录属性）已成为行业标准，往往能揭示关于重要模型失效模式的关键见解。然而，这种分析在统计学上具有严格要求：必须选择合适的绩效指标，以便在不同样本量和基线率的组之间进行有效比较；必须确定指标不确定性并对多重比较进行校正，以判断观察到的差异是否纯属偶然；在交叉分析情况下，必须实现机制以在组合爆炸般的子组数组合中找到最“有趣”的子组。我们在此提出一种解决上述挑战的统计工具箱，使实践者能够轻松且严谨地评估其模型是否存在潜在的子组性能差异。虽然该工具广泛适用，但专为医学影像应用而设计。本工具箱提供的分析在两个案例研究中进行了展示：一个是在 ISIC2020 数据集上进行皮肤瘤恶性病变分类，另一个是在 MIMIC-CXR 数据集上进行胸 X 光-based 疾病分类。
引用
@article{arxiv.2512.17409,
title = {meval: A Statistical Toolbox for Fine-Grained Model Performance Analysis},
author = {Dishantkumar Sutariya and Eike Petersen},
journal= {arXiv preprint arXiv:2512.17409},
year = {2025}
}