烘焙提示

改变大型语言模型（LLM）行为的两种主要方式为提示和权重更新（如微调）。通过自然语言明确指定所需更改，提示方式简单且有效，而权重更新则通过在大型数据集上训练来隐式指定，提供更具表达性和持久性的行为更改。我们提出一种将提示烘焙进 LLM 权重的技术，即 Prompt Baking。Prompt Baking 将提示 $u$ 和初始权重 $\theta$ 转换为新的权重 $\theta_u$，使得新的"烘焙后" LLM 的行为类似于原始提示的 LLM。我们通过最小化 $P_\theta(\cdot | u)$ 与 $P_{\theta_u}(\cdot)$ 之间的 KL 散度来实现。我们的所有实验均表明，提示可以轻松地烘焙进权重更新。烘焙链式思考提示可提升 GSM8K、ASDiv、MBPP、ARC-Easy、ARC-Challenge 和 CommonsenseQA 等基准测试中的零样本性能。烘焙新闻标题直接更新 LLM 的知识。烘焙指令与角色设定可缓解"提示遗忘"在长序列中的问题。此外，提前停止烘焙会创建"半烘焙"模型，持续缩放提示强度。烘焙模型保留其对进一步提示和烘焙的敏感性，包括使用烘焙内置提示进行重新提示。令人惊讶的是，重新提示的模型在指令遵循、数学推理和编码基准测试中均获得进一步的性能提升。将重新提示和重新烘焙推向极致可实现一种称为 Prompt Pursuit 的自我改进形式，指令遵循方面的初步结果显示出显著的性能提升。最后，我们讨论了对 AI 安全、持续模型更新、增强 LLM 代理实时学习能力以及生成更稳定 AI 角色的意义。