通过生成与压缩信息实现基于跨度的命名实体识别
计算与语言
2023-02-13 v1 机器学习
摘要
信息瓶颈（IB）原理已在多种 NLP 应用中被证明有效。然而，现有工作仅使用生成式或信息压缩式模型之一来提升目标任务的性能。本文中，我们提出将两类 IB 模型组合进同一系统以增强命名实体识别（NER）。对于一类 IB 模型，我们将两个无监督生成组件——跨度重建与同义词生成——整合进一个基于跨度的 NER 系统。跨度重建确保上下文化跨度表示保留跨度信息，而同义词生成使同义词即使在不同上下文中也具有相似表示。对于另一类 IB 模型，我们向系统中加入一个执行信息压缩的有监督 IB 层，以在所得跨度表示中保留对 NER 有用的特征。在五个不同语料上的实验表明，联合训练生成式与信息压缩式模型可提升基线基于跨度的 NER 系统的性能。我们的源代码公开于 https://github.com/nguyennth/joint-ib-models。
引用
@article{arxiv.2302.05392,
title = {Span-based Named Entity Recognition by Generating and Compressing Information},
author = {Nhung T. H. Nguyen and Makoto Miwa and Sophia Ananiadou},
journal= {arXiv preprint arXiv:2302.05392},
year = {2023}
}
备注
The paper has 13 pages but the main content is in 9 pages. There are two figures and 9 tables. The paper is accepted as a long paper at EACL 2023