JointGT：面向知识图谱文本生成的图-文联合表示学习
计算与语言
2021-06-22 v1 人工智能
摘要
现有的用于知识图谱到文本(KG-to-text)生成的预训练模型仅仅在 KG-to-text 数据集上微调 BART 或 T5 等文本到文本预训练模型，这在编码过程中很大程度上忽略了图结构，并且缺乏显式建模图-文对齐的精细预训练任务。为解决这些问题，我们提出了一种称为 JointGT 的图-文联合表示学习模型。在编码过程中，我们设计了一个结构感知语义聚合模块，将其插入每个 Transformer 层以保留图结构。此外，我们提出了三个新的预训练任务来显式增强图-文对齐，包括各自的文本/图重构，以及通过最优传输在嵌入空间中的图-文对齐。实验表明，JointGT 在各种 KG-to-text 数据集上取得了新的 SOTA 性能。
引用
@article{arxiv.2106.10502,
title = {JointGT: Graph-Text Joint Representation Learning for Text Generation from Knowledge Graphs},
author = {Pei Ke and Haozhe Ji and Yu Ran and Xin Cui and Liwei Wang and Linfeng Song and Xiaoyan Zhu and Minlie Huang},
journal= {arXiv preprint arXiv:2106.10502},
year = {2021}
}
备注
ACL 2021 (Findings)