用于嵌套命名实体识别的RNN转导器及其长序列对齐约束
计算与语言
2022-03-08 v1 人工智能
摘要
命名实体识别(NER)的流行方案包括条件随机场、序列到序列模型或利用问答框架。然而，它们不适用于具有大型本体且需预测实体位置的嵌套与重叠跨度。为填补此空白，我们引入一种用于NER任务的新模型——RNN转导器(RNN-T)。此类模型使用成对的输入与输出序列训练，无需显式指定二者间对齐，类似于其他seq-to-seq模型。RNN-T模型通过对所有对齐求和的损失函数学习对齐。但在NER任务中，词与目标标签间的对齐可从人工标注获得。我们提出一种利用给定对齐的固定对齐RNN-T模型，同时保留RNN-T的优势（如建模输出依赖）。作为更一般的情形，我们还提出一种约束对齐模型，用户可指定对给定输入对齐的松弛，模型将在给定约束内学习对齐。换言之，我们提出了一系列可在可用时利用输入与目标序列间对齐的seq-to-seq模型。通过在具有多个嵌套本体的高难度真实医疗NER任务上的实证实验，我们证明固定对齐模型优于标准RNN-T模型，将F1-score从0.70提升至0.74。
引用
@article{arxiv.2203.03543,
title = {RNN Transducers for Nested Named Entity Recognition with constraints on alignment for long sequences},
author = {Hagen Soltau and Izhak Shafran and Mingqiu Wang and Laurent El Shafey},
journal= {arXiv preprint arXiv:2203.03543},
year = {2022}
}