SwitchPrompt：面向低资源领域分类的学习领域特定门控软提示
计算与语言
2023-02-15 v1 人工智能
摘要
提示预训练语言模型在自然语言处理任务中取得了有前景的结果，但在低资源领域应用时效果较差，原因在于预训练数据与下游任务之间的领域鸿沟。在本工作中，我们提出一种新颖且轻量的提示方法 SwitchPrompt，以弥合这一鸿沟，用于将基于通用领域数据集训练的语言模型适配到多样化的低资源领域。SwitchPrompt 利用领域特定关键词与可训练门控提示，提供面向领域的提示，即对通用领域语言模型在目标领域上的有效引导。我们在三个文本分类基准上的少样本实验证明了配合 SwitchPrompt 使用的通用领域预训练语言模型的有效性。它们常甚至以最高 10.7% 的准确率提升优于使用基线最先进提示方法训练的对应领域特定模型。该结果表明 SwitchPrompt 有效降低了对领域特定语言模型预训练的需求。
引用
@article{arxiv.2302.06868,
title = {SwitchPrompt: Learning Domain-Specific Gated Soft Prompts for Classification in Low-Resource Domains},
author = {Koustava Goswami and Lukas Lange and Jun Araki and Heike Adel},
journal= {arXiv preprint arXiv:2302.06868},
year = {2023}
}
备注
Accepted at EACL 2023 Main Conference