利用序列到序列预训练改进AMR解析
计算与语言
2020-10-06 v1
摘要
在文献中，抽象语义表示(AMR)解析的研究很大程度上受限于人工标注数据集的规模，而该数据集对构建性能良好的AMR解析器至关重要。为缓解此类数据规模限制，预训练模型在AMR解析中正受到越来越多的关注。然而，以往的预训练模型（如BERT）是为通用目的实现的，可能未如预期般适用于AMR解析这一特定任务。本文关注序列到序列(seq2seq) AMR解析，并提出一种seq2seq预训练方法，在三个相关任务（即机器翻译、句法解析和AMR解析本身）上以单任务和联合方式构建预训练模型。此外，我们将普通的微调方法扩展为多任务学习微调方法，在优化AMR解析性能的同时努力保持预训练模型的响应。在两个英文基准数据集上的大量实验结果表明，单任务和联合预训练模型均显著提升了性能（例如在AMR 2.0上从71.5提升至80.2），达到了最先进水平。这一结果令人鼓舞，因为我们仅使用seq2seq模型而非复杂模型便取得了该成绩。我们的代码和模型见 https://github.com/xdqkid/S2S-AMR-Parser。
引用
@article{arxiv.2010.01771,
title = {Improving AMR Parsing with Sequence-to-Sequence Pre-training},
author = {Dongqin Xu and Junhui Li and Muhua Zhu and Min Zhang and Guodong Zhou},
journal= {arXiv preprint arXiv:2010.01771},
year = {2020}
}
备注
Accepted by EMNLP 2020