INSPECT：用于肺栓塞诊断与预后的多模态数据集
机器学习
2023-11-21 v1 人工智能
计算机视觉与模式识别
图像与视频处理
摘要
综合多源信息在现代医学实践中起着关键作用。当前人工智能在医学中的应用往往聚焦于单模态数据，原因在于缺乏公开可用的多模态医学数据集。为弥补这一不足，我们推出 INSPECT，其包含来自大规模肺栓塞（PE）风险患者队列的去标识化纵向记录，以及多种结局的真实标签。INSPECT 涵盖 19,402 名患者的数据，包括 CT 图像、放射科报告印象部分，以及结构化电子健康记录（EHR）数据（即人口统计学、诊断、操作、生命体征与用药）。借助 INSPECT，我们开发并发布了一个基准，用于评估多种基线建模方法在一系列重要 PE 相关任务上的表现。我们评测了仅图像、仅 EHR 以及多模态融合模型。训练好的模型与去标识化数据集在数据使用协议下可供非商业使用。据我们所知，INSPECT 是规模最大的、集成 3D 医学影像与 EHR 以进行可复现方法评估与研究的多模态数据集。
引用
@article{arxiv.2311.10798,
title = {INSPECT: A Multimodal Dataset for Pulmonary Embolism Diagnosis and Prognosis},
author = {Shih-Cheng Huang and Zepeng Huo and Ethan Steinberg and Chia-Chun Chiang and Matthew P. Lungren and Curtis P. Langlotz and Serena Yeung and Nigam H. Shah and Jason A. Fries},
journal= {arXiv preprint arXiv:2311.10798},
year = {2023}
}