通过局部约束重采样实现可控生成

自回归模型在建模自然语言的复杂性方面展现了前所未有的能力。然而，它们在生成遵循逻辑约束的复杂输出方面仍然存在困难。从完全独立的分布中在约束下采样是困难的。从自回归分布中在约束下采样是双重困难：我们不仅要应对约束的难度，还要应对分布缺乏结构的问题。我们提出了一种可处理的概率方法，该方法执行贝叶斯条件化以在约束下抽取样本。我们的方法考虑整个序列，从而比当前的贪心方法产生更全局最优的约束生成。从模型样本开始，我们推导出一个局部分解分布，我们可以对其施加约束条件。为了生成满足约束的样本，我们从条件分布中采样，校正样本中的偏差并重新采样。得到的样本紧密逼近目标分布，并保证满足约束。我们在多个任务上评估了我们的方法，包括LLM去毒化和解决数独谜题。我们表明，通过禁止一系列有毒表达，我们的方法能够引导模型的输出远离有毒生成，其性能优于类似的去毒化方法。最后，我们表明，我们的方法在数独上达到了100%的准确率，而GPT4-o和Gemini 1.5的准确率低于50%。