生成式提示内化

最近大型语言模型应用中使用的提示往往是固定且冗长的，导致显著的计算开销。为此，我们提出了生成式提示内化（GenPI），一种轻量级方法，采用联合训练方法。GenPI不仅复制具有提示输入的模型行为，还生成提示内容以及模型行为应如何更改的原因。我们演示了该方法在各种基于智能体的应用场景中有效内化复杂提示。为了在没有与专门环境交互的情况下进行有效训练，我们引入一种数据合成技术，通过交换智能体与环境的角色来自主收集对话数据集。该方法在只有预定义提示且没有相应训练数据集的场景中尤其有用。通过内化复杂提示，生成式提示内化实现了高性能且无需显式提示即可进行推理。