具有专用词嵌入的循环神经网络用于医疗领域命名实体识别
计算与语言
2018-06-26 v2
摘要
背景：此前在药物名称识别（DNR）和临床概念抽取（CCE）方面的最先进系统主要集中在文本“特征工程”与传统机器学习算法（如条件随机场和支持向量机）的结合上。然而，开发良好的特征本质上非常耗时。相反，更现代的机器学习方法，如循环神经网络（RNN），已被证明能够从随机分配或自动生成的词“嵌入”中自动学习有效特征。目标：(i) 创建一个高精度的 DNR 和 CCE 系统，避免传统且耗时的特征工程。(ii) 通过使用 MIMIC-III 等医疗领域数据集，创建更丰富、更专用的词嵌入。(iii) 在三个当代数据集上评估我们的系统。方法：评估了两种深度学习方法，即双向 LSTM 和双向 LSTM-CRF。设置了一个 CRF 模型作为基线，以将深度学习系统与传统机器学习方法进行比较。所有模型使用相同的特征。结果：我们使用双向 LSTM-CRF 模型获得了最佳结果，该模型优于所有先前提出的系统。专用嵌入有助于覆盖 DDI-DrugBank 和 DDI-MedLine 中的生僻词，但在 2010 i2b2/VA IRB Revision 数据集中效果不明显。结论：我们提出了一个用于 DNR 和 CCE 的最先进系统。自动词嵌入使我们能够避免昂贵的特征工程并实现更高的准确率。然而，为了充分覆盖领域专用词汇，需要在适合该领域的数据集上重新训练嵌入。
引用
@article{arxiv.1706.09569,
title = {Recurrent neural networks with specialized word embeddings for health-domain named-entity recognition},
author = {Inigo Jauregi Unanue and Ehsan Zare Borzeshi and Massimo Piccardi},
journal= {arXiv preprint arXiv:1706.09569},
year = {2018}
}
备注
Journal of Biomedical Informatics (2017)