用于少量样本提示调谐的合成数据集生成
计算与语言
2024-10-16 v1 人工智能
摘要
提示调谐的一个主要局限是其对大型标记训练数据的依赖。在少量样本学习设置下，提示调谐远远落后于完整模型微调，限制了其应用范围。本文我们利用强大的 LLM 来合成特定任务的标记数据，用于训练软提示。我们首先引入分布对齐加权生成器调谐（DawGen）方法，以鼓励生成与少量真实数据对齐的分布数据。然后，我们采用梯度手术方法在合成数据和真实数据上训练软提示，该方法消除来自不同数据源的冲突梯度。在七个句子对分类数据集上进行实验，证明了我们提出的方法在少量样本学习设置下提升提示调谐效果。结果表明，在 QQP、MRPC 和 SICK 数据集上的表现甚至可与从大型真实世界数据集进行迁移学习的结果相当，显示了合成数据作为增强软提示调谐的潜力。
引用
@article{arxiv.2410.10865,
title = {Generating Synthetic Datasets for Few-shot Prompt Tuning},
author = {Xu Guo and Zilin Du and Boyang Li and Chunyan Miao},
journal= {arXiv preprint arXiv:2410.10865},
year = {2024}
}