学习重写提示以实现个性化文本生成

在大语言模型（LLMs）的推动下，个性化文本生成已成为一个快速增长的研究方向。大多数现有研究聚焦于为特定领域设计专用模型，或需要对 LLM 进行微调以生成个性化文本。我们考虑一种典型场景：生成个性化输出的大语言模型被冻结，且只能通过 API 访问。在此约束下，所能做的仅是改进发送给 LLM 的输入文本（即文本提示），这一流程通常手动完成。在本文中，我们提出一种自动修订个性化文本生成提示的新方法。所提方法采用最先进的、用于个性化生成的多阶段框架生成的初始提示，并重写其中概括与综合个人语境的若干关键组件。提示重写器采用一种将监督学习（SL）与强化学习（RL）链式连接的训练范式，其中 SL 缩减 RL 的搜索空间，RL 促进重写器的端到端训练。使用来自三个代表性领域的数据集，我们证明重写后的提示优于原始提示以及仅经监督学习或强化学习优化的提示。对重写提示的深入分析表明，它们不仅人类可读，而且能在资源有限无法使用强化学习训练提示重写器，或部署自动提示重写器用于推理成本高昂时，指导手动修订提示。