在 Transformer 中建模图结构以改进 AMR 到文本的生成
计算与语言
2019-09-04 v1
摘要
近期关于 AMR 到文本生成的研究通常通过将抽象语义表示（AMR）图转换为词序列，将任务形式化为序列到序列（seq2seq）学习问题。为了利用 AMR 图中的结构信息，图结构被进一步建模到 seq2seq 框架中。然而，以往方法仅考虑直接相连概念间的关系，而忽略了 AMR 图中丰富的结构。在本文中，我们消除了这一强限制，并提出一种新颖的结构感知自注意力方法，以在最优的 seq2seq 模型即 Transformer 中更好地建模间接相连概念间的关系。具体而言，我们探索了几种不同方法学习两个概念间的结构表示。在英语 AMR 基准数据集上的实验结果表明，我们的方法显著优于 state of the art，在 LDC2015E86 和 LDC2017T10 上分别取得 29.66 和 31.82 的 BLEU 分数。据我们所知，这是迄今为止监督模型在基准上取得的最佳结果。
引用
@article{arxiv.1909.00136,
title = {Modeling Graph Structure in Transformer for Better AMR-to-Text Generation},
author = {Jie Zhu and Junhui Li and Muhua Zhu and Longhua Qian and Min Zhang and Guodong Zhou},
journal= {arXiv preprint arXiv:1909.00136},
year = {2019}
}
备注
Accepted by EMNLP 2019