基于改进微调机制的BERT模型在生物医学关系抽取中的研究
计算与语言
2020-11-03 v1
摘要
随着生物医学文献的爆炸式增长，设计自动工具从文献中提取信息在生物医学研究中具有重要意义。最近，适配到生物医学领域的基于Transformer的BERT模型取得了领先结果。然而，所有现有的用于关系分类的BERT模型仅利用了最后一层的部分知识。本文中，我们将研究在BERT模型微调过程中利用完整层的方法。据我们所知，我们是首个探索该方法的研究。实验结果说明我们的方法提升了BERT模型性能，并在三个不同关系抽取任务的基准数据集上优于最先进（SOTA）方法。此外，进一步分析表明关于关系的关键知识可以从BERT模型的最后一层学到。
关键词
引用
@article{arxiv.2011.00398,
title = {Investigation of BERT Model on Biomedical Relation Extraction Based on Revised Fine-tuning Mechanism},
author = {Peng Su and K. Vijay-Shanker},
journal= {arXiv preprint arXiv:2011.00398},
year = {2020}
}