改善患者亚群最差情形预测模型性能的方法比较
机器学习
2022-02-03 v2 计算机与社会
机器学习
摘要
在患者群体中平均准确的临床结局预测模型可能在某些亚群中表现急剧下降,潜在引入或加剧医疗可及性与质量的 inequities。旨在最大化亚群间最差情形模型性能的训练方法,如分布鲁棒优化(distributionally robust optimization, DRO),试图在不引入额外危害的情况下解决该问题。我们开展了一项大规模实证研究,比较 DRO 与几种标准学习流程的变体,以识别相比从电子健康记录数据学习预测模型的标准方法,能持续改善亚群分解性能与最差情形性能的模型开发与选择方法。在评估过程中,我们引入了对 DRO 方法的扩展,允许指定用于评估最差情形性能的度量。我们对预测住院死亡率、延长住院时长、30天再入院的住院模型,以及使用重症监护数据预测住院死亡率的模型进行分析。我们发现,除相对较少的例外,对于每个考察的患者亚群,没有方法优于使用整个训练数据集的标准学习流程。这些结果表明,当有兴趣将患者亚群模型性能提升至超越标准实践所能达到的水平时,可能有必要通过增加有效样本量或降低预测问题噪声水平的数据收集技术来实现。
引用
@article{arxiv.2108.12250,
title = {A comparison of approaches to improve worst-case predictive model performance over patient subpopulations},
author = {Stephen R. Pfohl and Haoran Zhang and Yizhe Xu and Agata Foryciarz and Marzyeh Ghassemi and Nigam H. Shah},
journal= {arXiv preprint arXiv:2108.12250},
year = {2022}
}