为何需要注意力？以 NER 为例分析 BiLSTM 的缺陷及其补救方法
计算与语言
2020-07-06 v3
摘要
BiLSTM 在序列标注设定下已作为 NER 的核心模块被广泛使用。最先进的方法使用带有额外资源（如地名辞典、语言建模或多任务监督）的 BiLSTM 来进一步改进 NER。本文则退一步，聚焦于分析 BiLSTM 自身的问题以及自注意力究竟如何带来改进。我们形式化地展示了 (CRF-)BiLSTM 在为每个词建模跨上下文模式时的局限——异或局限。随后，我们展示两类简单的跨结构——自注意力与 Cross-BiLSTM——可有效补救该问题。我们在真实世界 NER 数据集 OntoNotes 5.0 与 WNUT 2017 上测试了该缺陷的实际影响，相对基线取得了清晰且一致的改进，在某些多词实体提及上提升达 8.7%。我们对 NER 若干方面的改进进行了深入分析，尤其是多词提及的识别。本研究应为序列标注 NER 的未来改进奠定坚实基础。（源代码：https://github.com/jacobvsdanniel/cross-ner）
引用
@article{arxiv.1908.11046,
title = {Why Attention? Analyze BiLSTM Deficiency and Its Remedies in the Case of NER},
author = {Peng-Hsuan Li and Tsu-Jui Fu and Wei-Yun Ma},
journal= {arXiv preprint arXiv:1908.11046},
year = {2020}
}
备注
In proceedings of AAAI 2020