将层级引导注入提示调优：面向多级隐式篇章关系识别的参数高效框架
计算与语言
2024-02-26 v1
摘要
多级隐式篇章关系识别(MIDRR)旨在识别论元之间的层级篇章关系。以往的方法通过微调预训练语言模型(PLM)来提升性能。然而，由于数据稀缺和任务差距，预训练特征空间无法被精确地调整到任务特定空间，这甚至加剧了原始空间的坍塌。此外，对MIDRR层级语义的理解使得这种转换更加困难。本文提出了一种基于提示的参数高效多级IDRR(PEMI)框架来解决上述问题。首先，我们利用参数高效的提示调优来驱动输入的论元匹配预训练空间，并用少量参数实现近似。其次，我们提出了一种层级标签精炼(HLR)方法用于提示词表，将层级引导深度集成到提示调优中。最终，我们的模型在PDTB 2.0和3.0上使用约0.1%的可训练参数取得了与基线相当的结果，可视化结果证明了我们HLR方法的有效性。
引用
@article{arxiv.2402.15080,
title = {Infusing Hierarchical Guidance into Prompt Tuning: A Parameter-Efficient Framework for Multi-level Implicit Discourse Relation Recognition},
author = {Haodong Zhao and Ruifang He and Mengnan Xiao and Jing Xu},
journal= {arXiv preprint arXiv:2402.15080},
year = {2024}
}
备注
accepted to ACL 2023