动态提示：一种统一的提示微调框架
计算与语言
2023-05-30 v2 人工智能
摘要
已有研究表明，提示微调（prompt tuning）技术在从预训练基础模型（包括预训练语言模型（PLM）、视觉预训练模型和视觉-语言（V-L）模型）中高效提取知识方面极为有效。然而，对所有样本不论其内在差异均使用固定软提示并以预定位置与输入拼接，其有效性仍不确定。提示在多样样本和任务中的位置、长度与表示等变量会显著影响提示微调的性能。在此背景下，我们提供了理论分析，揭示将提示位置优化为包围输入可捕获传统前缀或后缀提示微调方法无法捕获的额外语义信息。基于该分析，我们提出统一的动态提示（DP）微调策略，根据特定任务和样本动态确定提示的不同因素。为此，我们采用带Gumble-Softmax的轻量学习网络，以学习样本依赖的引导。实验结果突显了动态提示微调在包括NLP任务、视觉识别任务和视觉-语言任务在内的广泛任务上的显著性能提升。此外，我们确立了该方法在全数据、少样本和多任务场景下的普遍适用性。代码见https://github.com/Xianjun-Yang/DPT。
引用
@article{arxiv.2303.02909,
title = {Dynamic Prompting: A Unified Framework for Prompt Tuning},
author = {Xianjun Yang and Wei Cheng and Xujiang Zhao and Wenchao Yu and Linda Petzold and Haifeng Chen},
journal= {arXiv preprint arXiv:2303.02909},
year = {2023}
}
备注
update