探究相对位置嵌入对基于结构适配器的 AMR 到文本生成的影响
计算与语言
2023-02-14 v1
摘要
从抽象语义表示（AMR）生成文本已大幅受益于流行的预训练语言模型（PLMs）。大量方法将输入图线性化为令牌序列以满足 PLM 的分词要求。然而，这种转换损害了图的结构完整性，因此不利于其所得表示。为克服此问题，Ribeiro 等人最近提出了 StructAdapt，一种结构感知适配器，它使用图神经网络（GNNs）将输入图的连通性注入 PLMs 中。在本文中，我们研究了相对位置嵌入（RPE）对 AMR 到文本的影响，同时考察了 StructAdapt 的鲁棒性。通过消融研究、图攻击和链接预测，我们揭示 RPE 可能部分编码了输入图。我们建议关于 RPE 作用的进一步研究将为图到文本生成提供有价值的见解。
引用
@article{arxiv.2302.05900,
title = {Investigating the Effect of Relative Positional Embeddings on AMR-to-Text Generation with Structural Adapters},
author = {Sebastien Montella and Alexis Nasr and Johannes Heinecke and Frederic Bechet and Lina M. Rojas-Barahona},
journal= {arXiv preprint arXiv:2302.05900},
year = {2023}
}
备注
Accepted to EACL 2023 (Main)