基于多孔格点的 Transformer 编码器用于中文命名实体识别
计算与语言
2020-10-29 v3 信息检索
摘要
将格点融入字符级中文命名实体识别是利用显式词信息的有效方法。近期工作扩展循环与卷积神经网络以建模格点输入。然而，由于格点输入的 DAG 结构或可变大小的潜在词集合，这些模型阻碍了批处理计算的便捷使用，导致严重的低效。在本文中，我们提出一种基于多孔格点的 transformer 编码器用于中文命名实体识别，得益于 transformer 中的掩码机制，其能够更好地利用 GPU 并行性并批处理计算。我们首先研究结合相对位置表示的格点感知自注意力，以探索格点结构中的有效词信息。此外，为增强相邻词符间的局部依赖，我们在自注意力计算处理中提出一种新颖的多孔结构，其中每两个非相邻词符通过一个共享枢轴节点相连。在四个数据集上的实验结果表明，我们的模型比最先进模型快达 9.47 倍，而性能与其大致相当。本文源代码可从 https://github.com/xxx/xxx 获取。
引用
@article{arxiv.1911.02733,
title = {Porous Lattice-based Transformer Encoder for Chinese NER},
author = {Xue Mengge and Yu Bowen and Liu Tingwen and Zhang Yue and Meng Erli and Wang Bin},
journal= {arXiv preprint arXiv:1911.02733},
year = {2020}
}
备注
9 pages, 4 figures