用于序列标注的层次化精炼标签注意力网络
计算与语言
2019-11-11 v3
摘要
CRF 已被用作统计序列标注的强大模型。然而，对于神经序列标注，BiLSTM-CRF 并不总是比 BiLSTM-softmax 局部分类产生更好的结果。这可能是因为 CRF 的简单马尔可夫标签转移模型相对于强大的神经编码并未提供太多信息增益。为了更好地表示标签序列，我们研究了一种层次化精炼标签注意力网络，该网络显式利用标签嵌入，并通过层次化注意力为每个词提供逐步精炼的标签分布，从而捕获潜在的长期标签依赖。在词性标注、命名实体识别和 CCG 超级标注上的结果表明，所提出的模型不仅在参数数量相近的情况下提高了整体标注准确率，而且与 BiLSTM-CRF 相比显著加快了训练和测试速度。
引用
@article{arxiv.1908.08676,
title = {Hierarchically-Refined Label Attention Network for Sequence Labeling},
author = {Leyang Cui and Yue Zhang},
journal= {arXiv preprint arXiv:1908.08676},
year = {2019}
}
备注
EMNLP 2019