提示词即插即用：一种用于控制文本生成的提示微调方法
计算与语言
2024-04-09 v1 人工智能
机器学习
摘要
基于 Transformer 的大型语言模型 (LLM) 在响应基于文本的提示词方面展现出了卓越的语言生成能力。然而，通过文本提示词控制生成方向一直具有挑战性，尤其是在较小的模型中。在本研究中，我们探索使用提示微调来实现受控语言生成。生成的文本由提示嵌入引导，这些嵌入使用一个作为判别器的小型语言模型进行训练。此外，我们证明了这些提示嵌入可以用非常小的数据集进行训练，少至几百个训练样本即可。因此，我们的方法提供了一种数据与参数高效的解决方案来控制语言模型输出。我们在四个数据集上进行了广泛评估：SST-5 和 Yelp（情感分析）、GYAFC（正式度）和 JIGSAW（有毒语言）。最后，我们展示了我们的方法在缓解语言模型生成的有害、有毒和带有偏见的文本方面的有效性。
引用
@article{arxiv.2404.05143,
title = {Plug and Play with Prompts: A Prompt Tuning Approach for Controlling Text Generation},
author = {Rohan Deepak Ajwani and Zining Zhu and Jonathan Rose and Frank Rudzicz},
journal= {arXiv preprint arXiv:2404.05143},
year = {2024}
}
备注
9 pages, 3 figures, Presented at Deployable AI Workshop at AAAI-2024