面向生物医学关系抽取的迁移学习架构实验
计算与语言
2020-11-26 v1 机器学习
摘要
关系抽取（RE）旨在从文本中自动识别并结构化感兴趣的关系。近来，BERT 提升了包括 RE 在内的若干 NLP 任务的最佳性能。然而，在机器学习架构内以及迁移学习策略中，使用 BERT 的最佳方式仍是一个开放问题，因其高度依赖于具体任务与领域。在此，我们探索了多种基于 BERT 的架构与迁移学习策略（即冻结或微调），用于在两个语料库上的生物医学 RE 任务。在测试的架构与策略中，我们的 *BERT-segMCNN 配合微调在两个语料库上达到了高于当前最优（SOTA）的性能（在 ChemProt 与 PGxCorpus 语料库上分别有 1.73% 与 32.77% 的绝对提升）。更一般地，我们的实验说明了使用 BERT 进行微调的预期价值，也揭示了除 BERT 经典利用的上下文外，使用结构信息（通过句子分割）这一未被充分探索的优势。
引用
@article{arxiv.2011.12380,
title = {Experiments on transfer learning architectures for biomedical relation extraction},
author = {Walid Hafiane and Joel Legrand and Yannick Toussaint and Adrien Coulet},
journal= {arXiv preprint arXiv:2011.12380},
year = {2020}
}
备注
12 pages, 2 figures,Extraction et Gestion des Connaissances (EGC)