用于药物推荐的图增强Transformer预训练
人工智能
2019-11-28 v2 计算与语言
机器学习
摘要
药物推荐是一项重要的医疗健康应用，通常被形式化为时序预测任务。因此，大多数现有工作仅利用少数具有多次就诊的患者的纵向电子健康记录（EHR），忽略了大量仅单次就诊的患者（选择偏差）。此外，诊断层级等重要层次知识在表示学习过程中未被利用。为应对这些挑战，我们提出 G-BERT，一种结合图神经网络（GNN）与 BERT（Bidirectional Encoder Representations from Transformers）能力的新模型，用于医疗编码表示与药物推荐。我们利用 GNN 表示医疗编码内部的层次结构，随后将 GNN 表示整合进基于 transformer 的就诊编码器，并在仅含单次就诊患者的 EHR 数据上预训练。预训练后的就诊编码器与表示接着在具有多次就诊患者的纵向 EHR 上微调，用于下游预测任务。G-BERT 首个将语言模型预训练范式引入医疗健康领域，并在药物推荐任务上取得了最先进的性能。
引用
@article{arxiv.1906.00346,
title = {Pre-training of Graph Augmented Transformers for Medication Recommendation},
author = {Junyuan Shang and Tengfei Ma and Cao Xiao and Jimeng Sun},
journal= {arXiv preprint arXiv:1906.00346},
year = {2019}
}
备注
IJCAI2019; fix some undefined problems; provide more intuitive figures