利用迁移的上下文嵌入增强临床信息抽取
计算与语言
2021-09-23 v2
摘要
基于 Transformer 的双向编码器表示(BERT)模型已在许多自然语言处理(NLP)任务中取得最先进的性能。然而，针对目标领域偏离预训练语料(例如生物医学或临床 NLP 应用)时其有效性的研究仍较为有限。在本文中，我们将其应用于一个被广泛研究的医院信息抽取(IE)任务，并在迁移学习设置下分析了其性能。与一系列现有 IE 模型相比，我们的应用以明显优势成为新的最先进结果。具体而言，在该护理交接数据集上，我们模型的宏平均 F1 分数为 0.438，而先前最佳深度学习模型为 0.416。总之，我们表明基于 BERT 的预训练模型可在温和条件下并经适当微调过程迁移至健康相关文档。
引用
@article{arxiv.2109.07243,
title = {Enhancing Clinical Information Extraction with Transferred Contextual Embeddings},
author = {Zimin Wan and Chenchen Xu and Hanna Suominen},
journal= {arXiv preprint arXiv:2109.07243},
year = {2021}
}
备注
6 pages, 4 figures