基于指令微调预训练语言模型的 AMR 解析
计算与语言
2023-04-25 v1 人工智能
摘要
在指令标注数据集集合（FLAN）上指令微调的语言模型已显示出 highly 有效以提升模型性能及对未见任务的泛化。然而，包括抽象意义表示（AMR）、通用依存（UD）、语义角色标注（SRL）在内的多数标准解析任务被排除在 FLAN 集合的模型训练与评估之外。本文中，我们取此类指令微调预训练语言模型之一，即 FLAN-T5，并为其微调以用于 AMR 解析。我们在各类 AMR 解析任务（包括 AMR2.0、AMR3.0 与 BioAMR）上的广泛实验表明，FLAN-T5 微调模型在所有任务上均优于先前最先进模型。此外，全参数微调后接参数高效微调 LoRA 进一步改进模型表现，在 Smatch 上创 AMR2.0（86.4）、AMR3.0（84.9）与 BioAMR（82.3）的新最先进水平。
引用
@article{arxiv.2304.12272,
title = {AMR Parsing with Instruction Fine-tuned Pre-trained Language Models},
author = {Young-Suk Lee and Ramón Fernandez Astudillo and Radu Florian and Tahira Naseem and Salim Roukos},
journal= {arXiv preprint arXiv:2304.12272},
year = {2023}
}