面向医疗表征学习的图-文本多模态预训练
计算与语言
2022-03-21 v1 机器学习
摘要
随着电子健康记录（EHR）数量的急剧增长，学习 EHR 表征以用于医疗应用已引起新兴关注。EHR 的表征学习需要对 EHR 中两种主导模态——结构化数据与非结构化文本——进行恰当建模。在本文中，我们提出 MedGTX，一种用于结构化与文本 EHR 数据多模态表征学习的预训练模型。MedGTX 使用新颖的图编码器来利用结构化 EHR 数据的图特性，使用文本编码器来处理非结构化文本，并使用跨模态编码器来学习联合表征空间。我们在开源 EHR 数据 MIMIC-III 上通过四个代理任务对模型进行预训练，并在两个临床基准和三个解决 EHR 数据中实际问题的新型下游任务上评估我们的模型。结果一致显示了为 EHR 中结构与非结构信息的联合表征预训练模型的有效性。鉴于 MedGTX 的前景性能，我们相信该工作为联合理解 EHR 数据的两种基本模态打开了新大门。
引用
@article{arxiv.2203.09994,
title = {Graph-Text Multi-Modal Pre-training for Medical Representation Learning},
author = {Sungjin Park and Seongsu Bae and Jiho Kim and Tackeun Kim and Edward Choi},
journal= {arXiv preprint arXiv:2203.09994},
year = {2022}
}
备注
To appear in Proceedings of the Conference on Health, Inference, and Learning (CHIL 2022)