利用基于 Transformer 的架构解决推测与否定作用域
计算与语言
2020-01-10 v1
摘要
推测是文本数据中自然发生的现象，是许多系统尤其是生物医学信息检索领域不可或缺的组成部分。先前解决线索检测与作用域解析（推测检测的两个子任务）的工作涵盖了从基于规则的系统到基于深度学习的方法。在本文中，我们将三种流行的基于 transformer 的架构 BERT、XLNet 和 RoBERTa 应用于此任务，在两个公开数据集 BioScope Corpus 和 SFU Review Corpus 上，报告了相较先前结果的显著提升（线索检测至少提高 0.29 个 F1 点，作用域解析提高 4.27 个 F1 点）。我们还尝试了在多个数据集上联合训练模型，其以较大优势优于单数据集训练方法。我们观察到 XLNet 始终优于 BERT 和 RoBERTa，这与其他基准数据集上的结果相反。为确认该观察，我们将 XLNet 和 RoBERTa 应用于否定检测与作用域解析，在否定作用域解析上报告了 BioScope Corpus（BioScope Full Papers 提高 3.16 个 F1 点，BioScope Abstracts 提高 0.06 个 F1 点）和 SFU Review Corpus（提高 0.3 个 F1 点）的 SOTA 结果。
引用
@article{arxiv.2001.02885,
title = {Resolving the Scope of Speculation and Negation using Transformer-Based Architectures},
author = {Benita Kathleen Britto and Aditya Khandelwal},
journal= {arXiv preprint arXiv:2001.02885},
year = {2020}
}