一种用于可控文本生成的即插即用方法

大型预训练语言模型已反复展现出生成流畅文本的能力。然而，即使从提示开始，生成也可能朝许多合理方向继续。当前旨在控制生成（例如确保包含特定词）的解码方法，要么需要额外模型或微调，要么在任务语义无约束（例如故事生成）时表现不佳。在这项工作中，我们提出了一种用于可控语言生成的即插即用解码方法，其简单直观，可用一句话描述：给定主题或关键词，我们向词汇表上的概率分布添加一个偏移，使其偏向语义相似的词。我们展示了如何通过对该分布进行退火来对语言生成施加硬约束，这是目前其他即插即用方法无法用 SOTA 语言生成器做到的。尽管该方法简单，我们在实践中发现其效果极好：从 GPT-2 解码可得到多样且流畅的句子，同时保证给定引导词的出现。我们进行了两项用户研究，揭示出（1）我们的方法在人工评估中优于竞争方法；（2）强制引导词出现在生成文本中对生成文本的流畅性无影响。