面向MIMIC数据集的对比模态评估与编码管道（PiCME）
机器学习
2025-07-08 v1
摘要
多模态深度学习在整合患者数据（包括文本、影像、时间序列和结构化人口统计信息）方面有望提高临床预测效果。对比学习通过产生统一的表示，实现跨任务的可复用性，减少对独立模型或编码器的需求。尽管对比学习在视觉语言领域取得了成功，但在临床应用中仍主要局限于图像和文本对。我们提出面向MIMIC数据的对比模态评估与编码管道（PiCME），系统性地评估了来自MIMIC的五种临床数据类型：出院概述、放射科报告、胸部X光、人口统计信息和时间序列。我们对所有26种由两至五种模态组成的组合进行对比模型预训练，并评估其在住院死亡率和表型预测中的实用性。为解决多模态性能平台问题，我们引入一种调控型LSTM，根据对比学习获得的重要性对每种模态进行加权。我们的结果表明，对比模型在三模态设置下仍与监督基线相当。超过三种模态后，性能下降，而监督模型难以恢复。调控型LSTM缓解了这一下降，在五模态设置下将AUROC从73.19%提高到76.93%，AUPRC从51.27%提高到62.26%。我们还将对比学习获得的模态重要性分数与归因分数进行比较，并评估了跨人口统计子群的泛化能力，突出了其在可解释性和公平性方面的优势。PiCME是首个在MIMIC中扩展对比学习至所有模态组合的工作，为模态选择、训练策略以及公平的临床预测提供了指导。
引用
@article{arxiv.2507.03165,
title = {PiCME: Pipeline for Contrastive Modality Evaluation and Encoding in the MIMIC Dataset},
author = {Michal Golovanevsky and Pranav Mahableshwarkar and Carsten Eickhoff and Ritambhara Singh},
journal= {arXiv preprint arXiv:2507.03165},
year = {2025}
}