基于评分渐进编辑器的黑盒语言模型可控文本生成

可控文本生成对于语言模型的实际使用非常重要，因为它确保生成的文本仅包含来自特定领域或数据集的所需属性。然而，现有方法不适用于黑盒模型，或在控制生成文本与保持其流畅性之间存在显著权衡。本文提出基于评分的渐进编辑器（ScoPE），一种旨在克服这些问题的新方法。ScoPE 在骨干语言模型生成过程中于 token 级别修改上下文。该修改引导后续文本自然包含目标属性。为促进此过程，ScoPE 采用最大化目标评分的训练目标，充分考虑引导文本的能力及其流畅性。在多样化可控生成任务上的实验结果表明，ScoPE 能在充分利用骨干大语言模型能力的同时有效调节生成文本的属性。我们的代码可在 \url{https://github.com/ysw1021/ScoPE} 获取。