用简单神经端到端实体链接探究 BERT 中的实体知识
计算与语言
2021-01-14 v1 机器学习
摘要
端到端实体链接系统的典型架构包含三个步骤：提及检测、候选生成和实体消歧。在本研究中，我们探究以下问题：（a）所有这些步骤能否与上下文文本表示模型（即 BERT（Devlin 等，2019））联合学习？（b）预训练 BERT 中已包含多少实体知识？（c）额外的实体知识是否提升 BERT 在下游任务中的表现？为此，我们提出了一种极其简化的实体链接设置，其效果出奇地好：简单地将其视为在整个实体词表（我们案例中超过 70 万类）上的逐 token 分类。我们在实体链接基准上表明（i）该模型比普通 BERT 改进了实体表示，（ii）它优于将各任务分别优化的实体链接架构，且（iii）它仅逊于当前联合进行提及检测和实体消歧的 SOTA。此外，我们探究了实体感知 token 表示在文本理解基准 GLUE，以及问答基准 SQUAD V2 和 SWAG，还有 EN-DE WMT14 机器翻译基准中的有用性。令人惊讶的是，我们发现大多数这些基准并未从额外实体知识中获益，除了一项训练数据极小的任务——GLUE 中的 RTE 任务，其提升了 2%。
引用
@article{arxiv.2003.05473,
title = {Investigating Entity Knowledge in BERT with Simple Neural End-To-End Entity Linking},
author = {Samuel Broscheit},
journal= {arXiv preprint arXiv:2003.05473},
year = {2021}
}
备注
Published at CoNLL 2019