基于迭代膨胀卷积的快速准确实体识别
计算与语言
2017-07-25 v3
摘要
如今，当许多从业者在整个网络和大量流量上运行基础NLP时，更快的方法对于节省时间和能源成本至关重要。GPU硬件的最新进展使得双向LSTM成为获取每词符向量表示的标准方法，这些表示用作诸如NER（通常随后在线性链CRF中进行预测）等标注任务的输入。尽管这些模型具有表现力强且准确，但它们未能充分利用GPU并行性，限制了计算效率。本文提出了一种用于NER的Bi-LSTM的更快替代方案：迭代膨胀卷积神经网络（ID-CNNs），其相比传统CNN在大规模上下文和结构化预测上具有更好容量。与LSTM不同（其对长度为N的句子进行顺序处理即使面对并行也需要O(N)时间），ID-CNNs允许固定深度卷积在整个文档上并行运行。我们描述了网络结构、参数共享和训练过程的独特组合，实现了14-20倍的测试时间加速，同时保持与Bi-LSTM-CRF相当的准确性。此外，训练用于聚合整个文档上下文的ID-CNNs甚至更准确，同时保持8倍更快的测试时间速度。
引用
@article{arxiv.1702.02098,
title = {Fast and Accurate Entity Recognition with Iterated Dilated Convolutions},
author = {Emma Strubell and Patrick Verga and David Belanger and Andrew McCallum},
journal= {arXiv preprint arXiv:1702.02098},
year = {2017}
}
备注
In Conference on Empirical Methods in Natural Language Processing (EMNLP). Copenhagen, Denmark. September 2017