模型失败的案例研究？纽约州COVID-19每日死亡人数和ICU床位使用预测
种群与进化
2020-08-12 v1 物理与社会
摘要
预测模型在COVID-19大流行的决策中具有影响力。然而，人们担心它们的预测可能具有误导性。在这里，我们剖析了四个模型在3月25日至6月5日期间对纽约州每日COVID-19死亡人数的预测，以及有影响力的IHME模型对ICU床位使用率的预测。我们评估了点估计的准确性和模型预测的不确定性估计的准确性。首先，我们比较了这些模型训练所用的每日死亡人数的“地面实况”数据源。这些模型使用了三个不同的数据源，它们在记录的每日死亡人数上存在显著差异。我们检查的另外两个数据源也提供了不同的每日死亡人数。在预测准确性方面，所有模型表现都非常差。无论预测未来多远，只有10.2%的预测落在其训练地面实况的10%以内。对于不确定性评估，只有一个模型与名义上的95%覆盖率相对匹配，但该模型直到4月16日才开始预测，因此对早期的重大决策没有影响。对于ICU床位使用率，IHME模型非常不准确；点估计直到大流行浪潮开始消退后才开始匹配地面实况。我们得出结论，值得信赖的模型需要值得信赖的输入数据进行训练。此外，在将模型结果提供给政策制定者和公共卫生官员之前，需要对模型进行预先指定的实时性能测试。
引用
@article{arxiv.2006.15997,
title = {A Case Study in Model Failure? COVID-19 Daily Deaths and ICU Bed Utilisation Predictions in New York State},
author = {Vincent Chin and Noelle I. Samia and Roman Marchant and Ori Rosen and John P. A. Ioannidis and Martin A. Tanner and Sally Cripps},
journal= {arXiv preprint arXiv:2006.15997},
year = {2020}
}