微调BERT用于中文医疗文本中的联合实体与关系抽取
计算与语言
2019-10-23 v2
摘要
实体与关系抽取是医疗文本结构化的必要步骤。然而,现有模型中双向长短期记忆网络的特征提取能力未达最佳效果。同时,语言模型已在越来越多的自然语言处理任务中取得优异结果。本文提出一种用于联合实体与关系抽取任务的聚焦注意力模型。我们的模型通过动态范围注意力机制将著名的BERT语言模型整合进联合学习,从而提升共享参数层的特征表示能力。在曙光医院收集的冠脉造影文本上的实验结果表明,命名实体识别和关系分类任务的F1-score分别达到96.89%和88.51%,分别优于state-of-the-art方法1.65%和1.22%。
引用
@article{arxiv.1908.07721,
title = {Fine-tuning BERT for Joint Entity and Relation Extraction in Chinese Medical Text},
author = {Kui Xue and Yangming Zhou and Zhiyuan Ma and Tong Ruan and Huanhuan Zhang and Ping He},
journal= {arXiv preprint arXiv:1908.07721},
year = {2019}
}
备注
8 pages, 2 figures, submitted to BIBM 2019, accepted as a regular paper