罕见事件下预测绩效指标的行为

目的：受试者工作特征曲线下面积（AUC）是二分类预测模型常报告的指标。最近的研究提出 AUC 在罕见事件情境下可能是误导性的预测绩效度量标准。这种情境在临床中常见，因为许多临床重要事件罕见见。我们旨在确定 AUC 的偏差和方差是由事件数量还是事件率驱动。我们也研究了其他常用预测绩效措施（包括阳性预测值、准确率、灵敏度和特异度）的行为。研究设计与环境：我们进行了一项模拟研究，以确定在罕见事件情境下 AUC 是否不稳定，通过变化用于训练和评估预测模型的数据集大小。该 plasmode 模拟研究基于来自精神健康研究网络的数据；该数据包含 149 个预测变量和感兴趣的结局——自杀尝试，其事件率为 0.92%。结果：我们的结果表明，AUC 的不佳行为——以经验偏差、交叉验证 AUC 估计的变异性和置信区间的经验覆盖率衡量——由罕见事件情境中的事件数量驱动，而非事件率。灵敏度的表现由事件数量决定，而特异度的表现由非事件数量决定。其他措施，包括阳性预测值和准确率，即使在大型样本中，也取决于事件率。结论：在罕见事件情境下，只要事件总数适中，AUC 就可靠；在我们的模拟实验中，当事件数达到 1000 时，我们观察到接近零偏差。