融合影像与常规电子健康记录中潜在临床特征的纵向多模态Transformer肺结节分类
图像与视频处理
2023-07-03 v5 计算机视觉与模式识别
机器学习
摘要
通过纳入重复影像学和如电子健康记录(EHRs)等医疗上下文,可大幅提升孤立性肺结节(SPN)诊断预测模型的准确性。然而,影像和诊断代码等临床常规模态可能在不同时间尺度上异步且不规则采样,这构成了纵向多模态学习的障碍。本工作中,我们提出一种基于Transformer的多模态策略,将重复影像与来自常规采集EHRs的纵向临床特征相融合,用于SPN分类。我们对潜在临床特征进行无监督解耦,并利用时间距离缩放自注意力从临床特征表达与胸部计算机断层扫描(CT)中联合学习。我们的分类器在来自公共数据集的2,668次扫描,以及来自本机构EHRs的具有纵向胸部CT、账单代码、药物和实验室检测的1,149名受试者上进行了预训练。在227名具有挑战性SPN的受试者上的评估显示,相较纵向多模态基线(0.824 vs 0.752 AUC)有显著AUC提升,且优于单横截面多模态场景(0.809 AUC)和仅纵向影像场景(0.741 AUC)。本工作以Transformer协同学习纵向影像与非影像表型的新方法展示了显著优势。代码见于https://github.com/MASILab/lmsignatures。
引用
@article{arxiv.2304.02836,
title = {Longitudinal Multimodal Transformer Integrating Imaging and Latent Clinical Signatures From Routine EHRs for Pulmonary Nodule Classification},
author = {Thomas Z. Li and John M. Still and Kaiwen Xu and Ho Hin Lee and Leon Y. Cai and Aravind R. Krishnan and Riqiang Gao and Mirza S. Khan and Sanja Antic and Michael Kammer and Kim L. Sandler and Fabien Maldonado and Bennett A. Landman and Thomas A. Lasko},
journal= {arXiv preprint arXiv:2304.02836},
year = {2023}
}
备注
Accepted to MICCAI 2023