E2EET：从流水线式到基于 Transformer 嵌入的端到端实体类型标注
计算与语言
2020-03-24 v1
摘要
实体类型标注（ET）是识别语料中每个实体语义类型的过程。与命名实体识别（仅将句中每个词元标注为零个或一个类标签）不同，ET 需将每个实体指称标注为一个或多个类标签。现有的在指称层级上运行的实体类型标注模型受限于两个关键因素：未利用近期提出的上下文相关嵌入，且基于固定上下文窗口训练。因此它们对窗口大小选择敏感，且无法融入整篇文档的上下文。鉴于这些缺陷，我们提出将基于 transformer 的嵌入用于指称层级模型以融入上下文，并采用 Bi-GRU 的端到端模型以消除对窗口大小的依赖。一项广泛的消融研究证明了上下文化嵌入对指称层级模型的有效性，以及我们的端到端模型在实体类型标注上的竞争力。
引用
@article{arxiv.2003.10097,
title = {E2EET: From Pipeline to End-to-end Entity Typing via Transformer-Based Embeddings},
author = {Michael Stewart and Wei Liu},
journal= {arXiv preprint arXiv:2003.10097},
year = {2020}
}