残差提示微调：通过残差重参数化改进提示微调
计算与语言
2023-05-09 v1 人工智能
摘要
提示微调（prompt tuning）是针对预训练语言模型进行参数高效微调的成功方法之一。尽管它可以说是最参数高效的（微调的软提示占总参数不到0.1%），但其性能通常劣于其他高效微调方法，并且对超参数相当敏感。在本工作中，我们引入残差提示微调（Residual Prompt Tuning）——一种简单高效的方法，可显著改善提示微调的性能与稳定性。我们提出使用带残差连接的浅层网络对软提示嵌入进行重参数化。我们的实验表明，残差提示微调在SuperGLUE基准上显著优于提示微调。值得注意的是，我们的方法相较使用T5-Base的提示微调取得了+7分的提升，并允许将提示长度缩减10倍而不损害性能。此外，我们展示了我们的方法对学习率和提示初始化具有鲁棒性，并且在少样本设置下同样有效。
引用
@article{arxiv.2305.03937,
title = {Residual Prompt Tuning: Improving Prompt Tuning with Residual Reparameterization},
author = {Anastasia Razdaibiedina and Yuning Mao and Rui Hou and Madian Khabsa and Mike Lewis and Jimmy Ba and Amjad Almahairi},
journal= {arXiv preprint arXiv:2305.03937},
year = {2023}
}
备注
ACL Findings 2023