基于蒸馏连接词知识的自适应提示学习用于隐式篇章关系识别
计算与语言
2023-09-15 v1
摘要
隐式篇章关系识别（IDRR）旨在识别两段文本之间无显式连接词的篇章关系。近来，提示学习刚被应用于 IDRR 任务，相较各类基于神经网络的方法取得了显著的性能提升。然而，最先进提示方法的离散特性需要人工设计模板与答案，这对其实际应用是一大障碍。本文提出一种连续版提示学习并结合连接词知识蒸馏，称为 AdaptPrompt，以通过连续提示减少人工设计负担，同时借助知识迁移进一步提升性能。具体地，我们设计并训练少量虚拟令牌以构成连续模板，并通过在嵌入空间中梯度搜索自动选取最合适者。我们还设计答案-关系映射规则以生成若干虚拟答案作为答案空间。此外，我们注意到训练集中标注连接词的重要性，并设计了师生架构用于知识迁移。在最新 PDTB Corpus V3.0 上的实验验证了我们的设计目标，即相较最先进竞争对手具有更优的关系识别性能。
引用
@article{arxiv.2309.07561,
title = {Adaptive Prompt Learning with Distilled Connective Knowledge for Implicit Discourse Relation Recognition},
author = {Bang Wang and Zhenglin Wang and Wei Xiang and Yijun Mo},
journal= {arXiv preprint arXiv:2309.07561},
year = {2023}
}