病例混合变化下预测模型性能的因果视角：区分与校准在预后与诊断预测中响应不同
统计方法学
2025-04-25 v3 机器学习
摘要
预测模型需要可靠的预测性能，因为它们会 inform 临床决策，辅助诊断、预后和治疗规划。这些模型的预测性能通常通过区分度和校准度来评估。数据分布的变化会影响模型性能，在模型当前的应用环境与上次评估时的情境和位置之间可能存在重要变化。在医疗保健领域，典型变化是病例混合的变化。例如，在心血管风险管理中，普通内科医生看到的患者构成与三级医院专家看到的患者构成不同。本工作引入了一种新框架，区分基于预测任务因果方向对病例混合变化对区分度和校准度影响。在预测因果方向时（通常适用于预后预测），校准在病例混合变化下保持稳定，而区分度则不稳定。相反，在预测反因果方向时（通常用于诊断预测），区分度保持稳定，但校准度不稳定。我们进行了仿真研究，并使用心血管疾病预测模型进行了经验验证，展示了该框架的意义。因果病例混合框架为开发、评估和在不同临床环境中部署预测模型提供了见解，强调了理解预测任务因果结构的重要性。
引用
@article{arxiv.2409.01444,
title = {A causal viewpoint on prediction model performance under changes in case-mix: discrimination and calibration respond differently for prognosis and diagnosis predictions},
author = {Wouter A. C. van Amsterdam},
journal= {arXiv preprint arXiv:2409.01444},
year = {2025}
}