基于动态结构剪枝的图到文本生成
计算与语言
2022-09-16 v1
摘要
大多数图到文本工作构建于带有交叉注意力机制的编码器-解码器框架之上。近期研究表明，显式建模输入图结构可显著提升性能。然而，原始结构编码器无法在所有解码步骤的单一前向传播中捕获全部专门信息，导致语义表示不准确。同时，输入图在交叉注意力中被展平为无序序列，忽略了原始图结构。因此，解码器中获得的输入图上下文向量可能存在缺陷。为解决这些问题，我们提出一种结构感知交叉注意力（SACA）机制，以结构感知的方式，基于每个解码步骤中新生成的上下文对输入图表示进行重编码。我们进一步适配SACA并引入其变体动态图剪枝（DGP）机制，以在解码过程中动态丢弃无关节点。我们在两个图到文本数据集LDC2020T02和ENT-DESC上取得了新的SOTA结果，且仅带来微小的计算成本增加。
引用
@article{arxiv.2209.07258,
title = {Graph-to-Text Generation with Dynamic Structure Pruning},
author = {Liang Li and Ruiying Geng and Bowen Li and Can Ma and Yinliang Yue and Binhua Li and Yongbin Li},
journal= {arXiv preprint arXiv:2209.07258},
year = {2022}
}
备注
accepted by COLING2022 Oral