双向语言建模在生物医学命名实体识别迁移学习中的有效应用
计算与语言
2018-08-16 v3
摘要
生物医学命名实体识别(NER)是医学文档文本挖掘中的基础任务，具有诸多应用。近年来，基于深度学习的方法在该任务上受到越来越多的关注，因为其参数可以端到端学习，无需手工设计特征。然而，这些方法依赖高质量标注数据，而获取此类数据代价高昂。为解决该问题，我们研究如何利用无标签文本数据提升NER模型的性能。具体而言，我们在无标签数据上训练双向语言模型(BiLM)，并将其权重迁移以“预训练”一个与BiLM架构相同的NER模型，从而得到更好的NER模型参数初始化。我们在四个生物医学NER基准数据集上评估了我们的方法，结果表明与最先进的方法相比，其在F1分数上带来显著提升。我们还表明，BiLM权重迁移可加快模型训练，且预训练模型达到特定F1分数所需的训练样本更少。
引用
@article{arxiv.1711.07908,
title = {Effective Use of Bidirectional Language Modeling for Transfer Learning in Biomedical Named Entity Recognition},
author = {Devendra Singh Sachan and Pengtao Xie and Mrinmaya Sachan and Eric P Xing},
journal= {arXiv preprint arXiv:1711.07908},
year = {2018}
}
备注
Machine Learning for Healthcare (MLHC) 2018, Comments: 12 pages, updated authors affiliations