Graformer:基于相对位置建模图结构的知识图谱文本生成
计算与语言
2021-04-28 v3
摘要
我们提出 Graformer,一种新颖的基于 Transformer 的编码器-解码器架构,用于图到文本生成。通过我们新颖的图自注意力,一个节点的编码依赖于输入图中的所有节点——不仅是直接邻居——从而促进全局模式的检测。我们将两个节点之间的关系表示为它们之间最短路径的长度。Graformer 学习为不同注意力头对不同节点-节点关系赋予不同权重,从而虚拟地学习输入图的不同连接视图。我们在两个流行的图到文本生成基准 AGENDA 和 WebNLG 上评估 Graformer,其在使用远少于其他方法的参数的同时取得了强劲性能。
引用
@article{arxiv.2006.09242,
title = {Modeling Graph Structure via Relative Position for Text Generation from Knowledge Graphs},
author = {Martin Schmitt and Leonardo F. R. Ribeiro and Philipp Dufter and Iryna Gurevych and Hinrich Schütze},
journal= {arXiv preprint arXiv:2006.09242},
year = {2021}
}
备注
Accepted as a long paper at TextGraphs 2021