XPrompt：探索提示微调的极致
计算与语言
2022-10-11 v1 机器学习
摘要
提示微调（prompt tuning）通过学习软提示以条件化冻结的预训练语言模型（PLMs）来以参数高效的方式执行下游任务。虽然随着模型规模增大，提示微调已逐渐达到微调的性能水平，但对于中等和小型规模（通常小于 11B 参数）的模型，提示微调与微调之间仍存在较大的性能差距。在本文中，我们通过实验表明，训练得到的提示词元会对下游任务产生负面影响，从而降低其性能。为弥合这一差距，我们在彩票假说框架下提出了一种极小规模的新型提示微调模型（XPrompt）。具体而言，XPrompt 通过分层结构化剪枝在不同粒度级别上消除负面提示词元，从而产生参数更高效但性能仍具竞争力的提示。我们在 SuperGLUE 任务上进行了综合实验，广泛结果表明 XPrompt 能够在较小模型规模下缩小性能差距。
引用
@article{arxiv.2210.04457,
title = {XPrompt: Exploring the Extreme of Prompt Tuning},
author = {Fang Ma and Chen Zhang and Lei Ren and Jingang Wang and Qifan Wang and Wei Wu and Xiaojun Quan and Dawei Song},
journal= {arXiv preprint arXiv:2210.04457},
year = {2022}
}
备注
15 pages, accepted to EMNLP 2022 main conference