机器学习泛化能力的真实世界验证:头部CT上的颅内出血检测
图像与视频处理
2021-08-24 v1 计算机视觉与模式识别
神经与进化计算
摘要
机器学习(ML)在变革医疗健康方面前景广阔。尽管已发表的研究显示了ML模型在解读医学影像检查中的效用,但这些通常在实验室环境下评估。真实世界评估的重要性最好由记录这些模型向临床环境转化中成功与失败的案例研究来说明。这些技术被临床采纳的一个关键前提是证明ML模型在真实世界情形下的泛化性能。本研究的目的是以非增强计算机断层扫描(CT)上颅内出血(ICH)检测为用例,证明ML模型泛化能力在医学影像中是可实现的。一个ML模型使用来自RSNA颅内出血CT数据集的21,784份扫描进行训练,而泛化能力使用从我们繁忙的创伤与神经外科中心获取的外部验证数据集评估。该真实世界外部验证数据集由2019年我们急诊科实施的每一份非增强头部CT扫描(n = 5,965)组成,无排除。模型在测试数据集上表现出AUC为98.4%、灵敏度为98.8%、特异度为98.0%。在外部验证中,模型表现出AUC为95.4%、灵敏度为91.3%、特异度为94.1%。使用与训练数据集在时间上和地理上均不同的真实世界外部验证数据集评估ML模型,表明ML泛化能力在医学影像应用中是可实现的。
引用
@article{arxiv.2102.04869,
title = {A Real-World Demonstration of Machine Learning Generalizability: Intracranial Hemorrhage Detection on Head CT},
author = {Hojjat Salehinejad and Jumpei Kitamura and Noah Ditkofsky and Amy Lin and Aditya Bharatha and Suradech Suthiphosuwan and Hui-Ming Lin and Jefferson R. Wilson and Muhammad Mamdani and Errol Colak},
journal= {arXiv preprint arXiv:2102.04869},
year = {2021}
}
备注
This paper is under review