面向命名实体识别的深度跨度表示
计算与语言
2023-05-10 v2 机器学习
摘要
基于跨度的模型是命名实体识别（NER）最直接的方法之一。现有的基于跨度的 NER 系统浅层地聚合词元表示以得到跨度表示。然而，这通常导致对长跨度实体的显著低效、重叠跨度表示之间的耦合，并最终造成性能下降。在本研究中，我们提出 DSpERT（Deep Span Encoder Representations from Transformers，基于 Transformer 的深度跨度编码器表示），其由一个标准 Transformer 和一个跨度 Transformer 组成。后者使用低层跨度表示作为查询，并将词元表示作为键和值，自底向上逐层聚合。因此，DSpERT 产生具有深层语义的跨度表示。通过从预训练语言模型进行权重初始化，DSpERT 在八个 NER 基准上取得了高于或可与近期最先进（SOTA）系统相竞争的性能。实验结果验证了深度对于跨度表示的重要性，并表明 DSpERT 在长跨度实体和嵌套结构上表现尤为出色。此外，深度跨度表示在特征空间中结构良好且易于分离。
引用
@article{arxiv.2210.04182,
title = {Deep Span Representations for Named Entity Recognition},
author = {Enwei Zhu and Yiyang Liu and Jinpeng Li},
journal= {arXiv preprint arXiv:2210.04182},
year = {2023}
}
备注
Paper accepted to Findings of ACL 2023