在基于Transformer的AMR解析中融入图信息
计算与语言
2023-06-26 v1 人工智能
摘要
抽象语义表示（AMR）是一种语义解析形式化方法，旨在为给定文本提供语义图抽象。当前方法基于自回归语言模型（如BART或T5），通过教师强制（Teacher Forcing）微调，从句子获得AMR图的线性化版本。本文提出LeakDistill，一种探索对Transformer架构进行修改的模型与方法，利用结构适配器将图信息显式融入学习到的表示中，以提升AMR解析性能。我们的实验表明，通过在训练时将词到节点的对齐用于向编码器嵌入图结构信息，即便不使用额外数据，也可通过自知识蒸馏（self-knowledge distillation）获得最先进的AMR解析。我们在\url{http://www.github.com/sapienzanlp/LeakDistill}发布了代码。
引用
@article{arxiv.2306.13467,
title = {Incorporating Graph Information in Transformer-based AMR Parsing},
author = {Pavlo Vasylenko and Pere-Lluís Huguet Cabot and Abelardo Carlos Martínez Lorenzo and Roberto Navigli},
journal= {arXiv preprint arXiv:2306.13467},
year = {2023}
}
备注
ACL 2023. Please cite authors correctly using both lastnames ("Mart\'inez Lorenzo", "Huguet Cabot")