硬提示简化法：基于梯度的离散优化用于提示调优与发现
机器学习
2023-06-02 v2 计算与语言
摘要
现代生成模型的优势在于其能够通过基于文本的提示进行控制。典型的“硬”提示由可解释的单词和词元组成，且必须由人工手工设计。也存在“软”提示，其由连续特征向量构成。这些可通过强大的优化方法发现，但难以解释、跨模型复用或插入基于文本的接口中。我们描述了一种通过高效的基于梯度的优化来鲁棒优化硬文本提示的方法。我们的方法自动为文本到图像和文本到文本应用生成基于硬文本的提示。在文本到图像设定中，该方法为扩散模型创建硬提示，使 API 用户无需事先了解如何提示模型即可轻松生成、发现并混合搭配图像概念。在文本到文本设定中，我们展示了可自动发现对分类任务中调优语言模型（LM）有效的硬提示。
引用
@article{arxiv.2302.03668,
title = {Hard Prompts Made Easy: Gradient-Based Discrete Optimization for Prompt Tuning and Discovery},
author = {Yuxin Wen and Neel Jain and John Kirchenbauer and Micah Goldblum and Jonas Geiping and Tom Goldstein},
journal= {arXiv preprint arXiv:2302.03668},
year = {2023}
}
备注
15 pages, 12 figures, Code is available at https://github.com/YuxinWenRick/hard-prompts-made-easy