ATTEMPT：通过软提示注意力混合实现的参数高效多任务微调
计算与语言
2022-12-02 v2
摘要
本工作提出了一种新的多任务、参数高效的语言模型（LM）微调方法，该方法通过学习不同任务间软提示（为不同任务预训练的小前缀嵌入向量）的混合来迁移知识。我们的方法称为 ATTEMPT（ATTEntional Mixtures of Prompt Tuning，提示微调的注意力混合），将大规模源任务编码为少量参数的源提示，并训练一个注意力模块来为目标任务中的每个实例插值源提示与新初始化的目标提示。训练期间，仅更新目标任务提示与在多任务训练中任务间共享的注意力权重，而原始 LM 与源提示保持不变。ATTEMPT 具有极高的参数效率（例如，更新的参数比全量微调少 2,300 倍），同时利用高资源任务的知识实现了高任务性能。此外，它使用预训练软提示具有模块化特性，并可灵活增删源提示以实现有效知识迁移。我们在 21 个多样化 NLP 数据集上的实验结果表明，ATTEMPT 显著优于提示微调，并优于或匹敌使用超十倍参数的全量微调或其他参数高效微调方法。最后，ATTEMPT 在少样本学习设置中优于先前工作。
引用
@article{arxiv.2205.11961,
title = {ATTEMPT: Parameter-Efficient Multi-task Tuning via Attentional Mixtures of Soft Prompts},
author = {Akari Asai and Mohammadreza Salehi and Matthew E. Peters and Hannaneh Hajishirzi},
journal= {arXiv preprint arXiv:2205.11961},
year = {2022}
}
备注
Published as a conference paper at EMNLP 2022 (long). Code available at https://github.com/AkariAsai/ATTEMPT