TransPrompt v2：一种用于跨任务文本分类的可迁移提示框架
计算与语言
2023-08-30 v1
摘要
文本分类是自然语言处理（NLP）中最关键的任务之一。预训练语言模型（PLM）近期的进展在该任务上取得了显著成功。然而，PLM 获得的令人满意的结果严重依赖于大量任务特定的标注数据，由于数据访问和隐私限制，这在许多应用场景中可能不可行。近期提出的基于提示的微调范式通过任务特定模板提升了 PLM 在少样本文本分类上的性能。然而，出于相互增强的目的，提示知识如何跨任务迁移仍不明确。我们提出 TransPrompt v2，一种用于相似或疏远文本分类任务间少样本学习的新型可迁移提示框架。对于相似任务间的学习，我们采用多任务元知识获取（MMA）过程训练一个捕捉跨任务可迁移知识的元学习器。对于疏远任务间的学习，我们进一步将任务类型描述注入提示，并捕捉多个疏远任务间的类型内与类型间提示嵌入。此外，进一步设计了两种去偏技术，使训练出的元学习器更具任务无关性且对任意任务无偏。之后，元学习器可通过更好的参数初始化适配到各特定任务。大量实验表明，TransPrompt v2 在多个 NLP 任务和数据集上优于单任务和跨任务的强基线。我们进一步展示该元学习器能有效提升 PLM 在先前未见任务上的性能。此外，当使用完整训练集学习时，TransPrompt v2 也优于强微调基线。
引用
@article{arxiv.2308.15010,
title = {TransPrompt v2: A Transferable Prompting Framework for Cross-task Text Classification},
author = {Jianing Wang and Chengyu Wang and Cen Chen and Ming Gao and Jun Huang and Aoying Zhou},
journal= {arXiv preprint arXiv:2308.15010},
year = {2023}
}