快速且准确的神经 CRF 成分句法分析
计算与语言
2020-08-11 v1
摘要
估计概率分布是自然语言处理（NLP）领域的核心问题之一。然而，在深度学习（DL）和前深度学习时代，与线性链 CRF 在序列标注任务中的大量应用不同，极少有工作将树结构 CRF 应用于成分句法分析，这主要归因于 inside-outside 算法的复杂性与低效性。本文提出一种快速且准确的神经 CRF 成分句法分析器。其核心思想是通过在 GPU 上直接进行大张量操作对 inside 算法进行批处理以计算损失，同时经由高效的反向传播避免 outside 算法以计算梯度。我们还提出一种简单的两阶段“先括号化再标注”的解析方法来进一步提升效率。为改善解析性能，受近期依存句法分析进展的启发，我们引入了一种基于边界表示与双仿射注意力（biaffine attention）的新评分架构，以及一种有益的 dropout 策略。在 PTB、CTB5.1 和 CTB7 上的实验表明，我们的两阶段 CRF 分析器在有无 BERT 的两种设置下均取得了新的最优（state-of-the-art）性能，且每秒可解析超过 1,000 个句子。我们的代码发布于 https://github.com/yzhangcs/crfpar。
引用
@article{arxiv.2008.03736,
title = {Fast and Accurate Neural CRF Constituency Parsing},
author = {Yu Zhang and Houquan Zhou and Zhenghua Li},
journal= {arXiv preprint arXiv:2008.03736},
year = {2020}
}
备注
IJCAI 2020