经验证据表明不存在所谓的经过验证的预测模型
统计方法学
2024-06-14 v1
摘要
背景：外部验证对于在部署前评估临床预测模型（CPM）至关重要。除了模型设定错误外，患者群体差异和其他因素也会影响模型的AUC（c统计量）。我们旨在量化不同外部验证研究中AUC的变异，并调整对模型在新环境中性能的预期。方法：Tufts-PACE CPM注册中心包含用于心血管疾病预后的CPM。我们分析了469个CPM的AUC，共涉及1,603次外部验证。对于每个CPM，我们进行了随机效应荟萃分析，以估计AUC之间的研究间标准差τ。由于这些荟萃分析中的大多数只有少数几次验证，这导致了对τ的估计非常差。因此，我们估计了所有CPM中τ的对数正态分布，并将其用作经验先验。我们使用交叉验证将此经验贝叶斯方法与频率学派荟萃分析进行了比较。结果：469个CPM的中位外部验证次数为2（IQR：[1-3]）。τ的估计分布均值为0.055，标准差为0.015。如果τ = 0.05，则新环境中AUC的95%预测区间至少为±0.1，无论验证次数多少。频率学派方法低估了新环境中AUC的不确定性。在贝叶斯方法中考虑τ实现了接近名义上的覆盖率。结论：由于CPM已验证的AUC值之间存在很大的异质性，预测新环境中AUC存在巨大的不可约不确定性。现有方法低估了这种不确定性。所提出的经验贝叶斯方法解决了这个问题，值得在判断预测模型的有效性中广泛应用。
引用
@article{arxiv.2406.08628,
title = {Empirical Evidence That There Is No Such Thing As A Validated Prediction Model},
author = {Florian D. van Leeuwen and Ewout W. Steyerberg and David van Klaveren and Ben Wessler and David M. Kent and Erik W. van Zwet},
journal= {arXiv preprint arXiv:2406.08628},
year = {2024}
}