预训练语言模型中用于AMR到文本生成的结构适配器
计算与语言
2021-09-09 v2
摘要
预训练语言模型(PLM)近期推动了图到文本生成的发展,其中输入图被线性化为序列并送入PLM以获取其表示。然而,在PLM中高效编码图结构具有挑战性,因为此类模型是在自然语言上预训练的,而对结构化数据进行建模可能导致分布知识的灾难性遗忘。本文提出StructAdapt,一种将图结构编码进PLM的适配器方法。与先前工作不同,StructAdapt基于图连通性有效建模节点间的交互,仅训练图结构感知的适配器参数。以此方式,我们在保持图拓扑结构的同时融入任务特定知识。我们通过实验展示了使用StructAdapt将图结构显式编码进PLM的益处,在两个AMR到文本数据集上优于当前最优(state of the art)方法,且仅训练了PLM参数的5.1%。
引用
@article{arxiv.2103.09120,
title = {Structural Adapters in Pretrained Language Models for AMR-to-text Generation},
author = {Leonardo F. R. Ribeiro and Yue Zhang and Iryna Gurevych},
journal= {arXiv preprint arXiv:2103.09120},
year = {2021}
}
备注
Accepted as a long conference paper to EMNLP 2021