风险预测建模中的不确定性与信息价值
应用统计
2022-04-15 v3
摘要
背景:由于开发样本的有限规模,风险预测模型给出的预测概率不可避免地存在不确定性。我们应用信息价值(Value of Information)方法来评估预测不确定性的决策理论含义。方法:采用贝叶斯视角,我们将决策分析中的完美信息期望价值(Expected Value of Perfect Information, EVPI)的定义扩展到风险预测中的净收益计算。在模型开发背景下,EVPI指使用正确预测而非所提模型预测所带来的净收益期望增益。我们建议采用bootstrap方法从预测的后验分布中抽样,以通过蒙特卡洛模拟计算EVPI。在一项案例研究中,我们使用来自某临床试验的不同规模数据子集预测心肌梗死后死亡率,以展示EVPI如何随样本量变化。结果:在样本量为1000且预测风险预设阈值为2%时,所提模型与正确模型带来的净收益增益分别为0.0006与0.0011,由此得到EVPI为0.0005,相对EVPI为87%。仅在极高阈值(>85%)下EVPI为零。正如预期,EVPI随样本量增大而下降。我们总结了一种将EVPI计算纳入常用的乐观度修正bootstrap方法的算法。结论:信息价值方法可用于探索风险预测中不确定性的决策理论后果,并能在开发风险预测模型时补充推断方法。本文提供了实现该方法的R代码。
引用
@article{arxiv.2106.10721,
title = {Uncertainty and Value of Information in Risk Prediction Modeling},
author = {Mohsen Sadatsafavi and Tae Yoon Lee and Paul Gustafson},
journal= {arXiv preprint arXiv:2106.10721},
year = {2022}
}
备注
24 pages, 1 table, 3 figures