在患者群体图上对图 Transformer 的无监督预训练

预训练在机器学习的不同领域已显示出成功，例如计算机视觉、自然语言处理（NLP）和医学影像。然而，它在临床数据分析中尚未被充分探索。大量临床记录被保存下来，但对于小医院收集的数据或涉及罕见疾病的数据，数据和标签仍然可能稀缺。在此类场景中，在更大的未标记临床数据集上预训练可提升性能。本文中，受掩码语言建模（MLM）启发，我们提出了专为异构多模态临床数据设计的新型无监督预训练技术，用于患者结局预测，通过群体图上的图深度学习来实现。为此，我们进一步提出了一种基于图 Transformer 的网络，旨在处理异构临床数据。通过将基于掩码的预训练与基于 Transformer 的网络相结合，我们将其他领域中基于掩码的预训练的成功经验迁移到异构临床数据上。我们在自监督和迁移学习设定下展示了我们的预训练方法的益处，使用了三个医学数据集 TADPOLE、MIMIC-III 和 Sepsis Prediction Dataset。我们发现，我们提出的预训练方法有助于在患者和群体层面对数据进行建模，并改善在所有数据集上不同微调任务中的性能。