在线性化图到文本生成中提升图感知能力
计算与语言
2021-01-01 v1
摘要
从结构化输入（如意义表示或 RDF 三元组）生成文本，通常涉及使用专门的图编码神经网络。然而，近期将预训练 transformer 应用于图输入的线性化表示，在图到文本任务上取得了最先进的生成结果。在此，我们探究这些线性化模型编码局部图结构的能力，特别是它们对图线性化策略的不变性以及重构受损输入的能力。我们的发现促使我们通过脚手架式方法丰富模型隐式图编码的质量。具体而言，我们在多任务文本到文本框架中实现图去噪目标。我们发现，这些去噪脚手架在低资源设定下显著改善了下游生成。
引用
@article{arxiv.2012.15793,
title = {Promoting Graph Awareness in Linearized Graph-to-Text Generation},
author = {Alexander Hoyle and Ana Marasović and Noah Smith},
journal= {arXiv preprint arXiv:2012.15793},
year = {2021}
}