基于 BERT 的神经网络从患者电子健康记录预测临床诊断
计算与语言
2020-09-29 v1 人工智能
机器学习
摘要
本文研究从文本电子健康记录（EHR）数据预测临床诊断的问题。我们展示了该问题在医学界的重要性，并对该问题及已有方法进行了全面的历史回顾。作为主要科学贡献，我们提出了一种用于序列分类的双向编码器表示来自 Transformer（BERT）模型的改进版本，其实现了一种全新的全连接（FC）层组合方式，以及仅在领域数据上预训练的 BERT 模型。为实证验证我们的模型，我们使用了一个由约 400 万次独特患者就诊记录组成的大规模俄语 EHR 数据集。这是针对俄语规模最大的此类研究，也是全球最大规模之一。我们在 ICD-10 中 265 种疾病子集的多类分类任务上，与其他文本表示模型进行了一系列对比实验。实验表明，与其他基线（包括微调的俄语 BERT（RuBERT）变体）相比，我们的模型性能更优。我们还展示了我们的模型与一组经验丰富的医学专家具有相当的性能。这使我们希望该系统的实施将减少误诊。
引用
@article{arxiv.2007.07562,
title = {Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks},
author = {Pavel Blinov and Manvel Avetisian and Vladimir Kokh and Dmitry Umerenkov and Alexander Tuzhilin},
journal= {arXiv preprint arXiv:2007.07562},
year = {2020}
}
备注
To be published in the proceedings of 2020 International Conference on Artificial Intelligence in Medicine, Minneapolis MN, USA