SPoT：通过软提示迁移实现更好的冻结模型适配
计算与语言
2022-03-18 v2
摘要
人们对使用参数高效方法将预训练语言模型应用于下游任务的兴趣日益增长。基于 Lester 等人 (2021) 的提示微调（Prompt Tuning）方法——该方法学习任务特定的软提示来调节冻结的预训练模型以执行不同任务——我们提出了一种新颖的基于提示的迁移学习方法，称为 SPoT：软提示迁移（Soft Prompt Transfer）。SPoT 首先在一个或多个源任务上学习一个提示，然后用它来初始化目标任务提示。我们表明，SPoT 在许多任务上显著提升了提示微调的性能。更值得注意的是，在所有模型规模下，SPoT 在 SuperGLUE 基准测试上匹配或优于标准模型微调（Model Tuning，即微调所有模型参数），同时使用的任务特定参数最多可减少 27,000 倍。为了理解 SPoT 在何处最有效，我们对 26 个 NLP 任务进行了 160 种组合的大规模任务可迁移性研究，并证明许多任务可以通过提示迁移相互受益。最后，我们提出了一种高效的检索方法，将任务提示解释为任务嵌入，以识别相似任务并为新目标任务预测最可迁移的源任务。
引用
@article{arxiv.2110.07904,
title = {SPoT: Better Frozen Model Adaptation through Soft Prompt Transfer},
author = {Tu Vu and Brian Lester and Noah Constant and Rami Al-Rfou and Daniel Cer},
journal= {arXiv preprint arXiv:2110.07904},
year = {2022}
}
备注
Accepted as a main conference paper at ACL 2022, 21 pages, 8 figures, 7 tables