面向任务型语义解析的非自回归跨度指针网络
计算与语言
2021-09-16 v3
摘要
构建序列到序列、非自回归、任务型解析器以将话语映射为语义框架的一种有效方法分为三步：编码话语 、预测框架长度 |y|，以及用话语和本体词元解码一个 |y| 尺寸的框架。尽管经验上表现强劲，这些模型通常受限于长度预测，因为即便微小的误差也会改变所得框架的句法与语义特征。在我们的工作中，我们提出跨度指针网络，一种将解码任务从文本生成转向跨度预测的非自回归解析器；即，在将话语跨度填入框架槽位时，我们的模型生成端点（如 [i, j]）而非文本（如“6pm”）。这种对输出空间的自然量化减少了金标准框架的变异性，从而改善长度预测，并最终提升精确匹配（exact match）。此外，长度预测现在负责框架句法，而解码器负责框架语义，形成了一个由粗到细的模型。我们在多个任务型语义解析数据集上评估了我们的方法。值得注意的是，我们弥合了非自回归与自回归解析器之间的质量差距，在 TOPv2（Chen et al. 2020）上达到 87 EM。此外，由于我们更一致的金标准框架，我们展示了在低资源设定下跨域与跨语言迁移中模型泛化的显著提升。最后，由于缩减的输出词表，在束宽（beam size）为 5 时，相较于先前的非自回归解析器，我们观察到延迟减少 70%、内存减少 83%。
引用
@article{arxiv.2104.07275,
title = {Span Pointer Networks for Non-Autoregressive Task-Oriented Semantic Parsing},
author = {Akshat Shrivastava and Pierce Chuang and Arun Babu and Shrey Desai and Abhinav Arora and Alexander Zotov and Ahmed Aly},
journal= {arXiv preprint arXiv:2104.07275},
year = {2021}
}