用于神经依存句法分析的高效二阶 TreeCRF
计算与语言
2020-06-30 v2
摘要
在深度学习（DL）时代，得益于多层 BiLSTM 在上下文表示上的卓越能力，解析模型被极大简化且性能损失甚微。作为因高效与高性能而最受欢迎的基于图的依存解析器，双仿射解析器在弧分解假设下直接为单一依存打分，并采用非常简单的局部 token 级交叉熵训练损失。本文首次提出双仿射解析器的二阶 TreeCRF 扩展。长期以来，inside-outside 算法的复杂性与低效阻碍了 TreeCRF 的普及。为解决该问题，我们提出一种有效方法，将 inside 与 Viterbi 算法批量化以在 GPU 上直接进行大矩阵运算，并通过高效反向传播避免复杂的 outside 算法。在来自 13 种语言的 27 个数据集上的实验与分析清楚表明，DL 时代之前发展的技术，如结构学习（全局 TreeCRF 损失）与高阶建模仍然有用，并能进一步提升当前最优双仿射解析器的解析性能，尤其对于部分标注的训练数据。我们的代码发布于 https://github.com/yzhangcs/crfpar。
引用
@article{arxiv.2005.00975,
title = {Efficient Second-Order TreeCRF for Neural Dependency Parsing},
author = {Yu Zhang and Zhenghua Li and Min Zhang},
journal= {arXiv preprint arXiv:2005.00975},
year = {2020}
}
备注
ACL 2020