利用胸部X光片与生理数据的动态多模态表型分析
图像与视频处理
2021-11-05 v1 计算机视觉与模式识别
机器学习
摘要
医疗保健领域的特征在于异构的数据模态，例如影像和生理数据。在实践中，多种医疗数据协助临床医生进行决策。然而，当前大多数最先进的深度学习模型仅依赖于精心策划的单模态数据。在本文中，我们提出了一种动态训练方法来学习特定模态的数据表示并整合辅助特征，而不是仅仅依赖于单一模态。我们在 MIMIC-IV 中使用生理数据以及在 MIMIC-CXR 数据集中使用胸部X光片进行患者表型分析任务的初步实验结果表明，与之前仅使用生理数据 (0.740 AUROC) 的基准方法的性能相比，我们提出的方法实现了最高的受试者工作特征曲线下面积 (AUROC) (0.764 AUROC)。对于一组五种具有周期性急性发作的复发性或慢性疾病（包括心律失常、传导障碍和充血性心力衰竭），AUROC 从 0.747 提高到了 0.798。这说明了在表型分析任务中利用胸部影像模态的好处，并突出了多模态学习在医疗应用中的潜力。
引用
@article{arxiv.2111.02710,
title = {Towards dynamic multi-modal phenotyping using chest radiographs and physiological data},
author = {Nasir Hayat and Krzysztof J. Geras and Farah E. Shamout},
journal= {arXiv preprint arXiv:2111.02710},
year = {2021}
}
备注
Accepted in medical imaging meets NeurIPS 2021