医学时间序列与笔记的多模态预训练
机器学习
2023-12-13 v1 计算与语言
摘要
在重症监护病房（ICU）中，大量患者数据（包括临床测量和临床笔记）随时可用。这些数据是理解患者健康和指导医疗决策的宝贵资源，但也包含许多分析挑战。深度学习模型在提取有意义模式方面显示出潜力，但需要大量标记数据，这在重症监护中是一个挑战。为解决此问题，我们提出了一种新颖的方法，采用自监督预训练，专注于临床测量和笔记的对齐。我们的方法在预训练期间结合了对比学习和掩码令牌预测任务。在MIMIC-III数据集上的半监督实验证明了我们自监督预训练的有效性。在下游任务中，包括院内死亡率预测和表型分类，我们的预训练模型在仅部分数据标记的设置中优于基线，强调了其增强ICU数据分析的能力。值得注意的是，我们的方法在标签非常少的情况下表现出色，当仅1%标签可用时，院内死亡率的AUC-ROC提高了0.17，表型分类的AUC-PR提高了0.1。这项工作推进了医疗领域的自监督学习，优化了从丰富但具有挑战性的ICU数据中获取临床见解。
引用
@article{arxiv.2312.06855,
title = {Multimodal Pretraining of Medical Time Series and Notes},
author = {Ryan King and Tianbao Yang and Bobak Mortazavi},
journal= {arXiv preprint arXiv:2312.06855},
year = {2023}
}