中文

NFLAT:用于中文命名实体识别的非平面格 Transformer

计算与语言 2022-11-15 v3 人工智能

摘要

近来,Flat-LAttice Transformer(FLAT)在中文命名实体识别(NER)中取得了巨大成功。FLAT 通过构建平面格来进行词汇增强,缓解了词边界模糊和缺乏词语义带来的困难。在 FLAT 中,使用起止字符的位置来连接匹配词。然而,该方法在处理长文本时可能匹配更多词,导致输入序列变长。因此,它显著增加了自注意力模块的内存与计算代价。为应对此问题,我们主张一种新颖的词汇增强方法 InterFormer,通过构建非平面格有效减少计算与内存代价。此外,以 InterFormer 为骨干,我们实现了用于中文 NER 的 NFLAT。NFLAT 解耦了词库融合与上下文特征编码。与 FLAT 相比,它减少了“词-字”和“词-词”间不必要的注意力计算。这将内存占用降低约 50%,并可使用更广泛的词库或更高的批次进行网络训练。在若干知名基准上获得的实验结果证明了所提方法相对于最先进的混合(字-词)模型的优越性。

关键词

引用

@article{arxiv.2205.05832,
  title  = {NFLAT: Non-Flat-Lattice Transformer for Chinese Named Entity Recognition},
  author = {Shuang Wu and Xiaoning Song and Zhenhua Feng and Xiao-Jun Wu},
  journal= {arXiv preprint arXiv:2205.05832},
  year   = {2022}
}

备注

13 pages, 6 figures, 9 tables