将疾病知识注入 BERT 以用于健康问答、医学推理与疾病名称识别
计算与语言
2020-10-09 v1
摘要
疾病知识包含该疾病各方面的信息，如体征与症状、诊断与治疗。该疾病知识对许多健康相关与生物医学任务至关重要，包括消费者健康问答、医学语言推理和疾病名称识别。尽管像 BERT 这样的预训练语言模型已展现出从文本中捕获句法、语义和世界知识的能力，我们发现它们仍可由症状、诊断、治疗及其他疾病方面的具体信息进一步补充。因此，我们将 BERT 与疾病知识相整合以改进这些重要任务。具体而言，我们提出了一种新的疾病知识注入训练流程，并在一套 BERT 模型上进行评估，包括 BERT、BioBERT、SciBERT、ClinicalBERT、BlueBERT 和 ALBERT。在三项任务上的实验表明，这些模型在几乎所有情况下都能得到增强，证明了疾病知识注入的可行性。例如，BioBERT 在消费者健康问答上的准确率从 68.29% 提升至 72.09%，同时在两个数据集上观察到了新的 SOTA 结果。我们免费公开了我们的数据与代码。
引用
@article{arxiv.2010.03746,
title = {Infusing Disease Knowledge into BERT for Health Question Answering, Medical Inference and Disease Name Recognition},
author = {Yun He and Ziwei Zhu and Yin Zhang and Qin Chen and James Caverlee},
journal= {arXiv preprint arXiv:2010.03746},
year = {2020}
}
备注
Accepted by EMNLP 2020 as a regular long paper