用于辅助临床决策的深度学习模型不确定性估计方法——一位临床医生的视角
机器学习
2022-10-04 v1
摘要
预测不确定性估计具有临床意义，因其可潜在量化预测可靠性。若有稳健的可靠性信息，临床医生或会更信任“黑箱”模型，从而促使更多模型被采纳入临床实践。已有若干受深度学习启发的不确定性估计技术，但鲜少应用于医学数据集——在单一机构数据集/模型上更少。我们试图比较 dropout 变分推断（DO）、测试时增强（TTA）、保形预测以及单确定性方法，使用我们训练的、用于预测 271 名接受放射治疗的头颈癌患者喂饲管置入的模型来估计不确定性。我们比较了每种方法在不同截断值下的曲线下面积（AUC）、灵敏度、特异度、阳性预测值（PPV）与阴性预测值（NPV）趋势，这些截断值旨在将患者分层为“确定”与“不确定”队列。截断值通过验证队列中计算“不确定性”的百分位数获得，并应用于测试队列。总体而言，AUC、灵敏度与 NPV 随预测更“确定”——即更低不确定性估计——而升高。然而，当采用多数投票（实施 2/3 准则：DO、TTA、保形预测）或更严格方法（3/3 准则）时，AUC、灵敏度与 NPV 提升，且特异度或 PPV 无显著损失。尤其对于较小的单一机构数据集，在将模型纳入临床实践前评估多种估计技术或十分重要。
引用
@article{arxiv.2210.00589,
title = {Uncertainty estimations methods for a deep learning model to aid in clinical decision-making -- a clinician's perspective},
author = {Michael Dohopolski and Kai Wang and Biling Wang and Ti Bai and Dan Nguyen and David Sher and Steve Jiang and Jing Wang},
journal= {arXiv preprint arXiv:2210.00589},
year = {2022}
}
备注
12 pages, 5 figures