基于顺序蒙特卡罗采样的大型语言模型语法与语义控制

广泛的语言模型应用需要生成符合语法或语义约束的文本。将此类约束纳入可自然形式化为概率条件化，但由此得到的分布——与语言模型基本分布可能有显著差异——的精确生成通常是不可计算的。本文我们发展了一种基于顺序蒙特卡罗采样（SMC）的受控语言模型生成架构。我们的SMC框架允许我们灵活地在推断时集成特定于领域和问题的约束，并在生成过程中根据新信息高效地重新分配计算资源。通过在四个具有挑战性的领域进行与多种替代方法和消失实验的比较——包括数据科学的Python代码生成、文本到SQL、目标推断和分子合成——我们展示了，仅需极少的开销，本方法使小型开源语言模型能够超越8倍大小的模型，以及闭源、微调后的模型。在支持概率视角的方面，我们显示，这些性能提升是由对后验分布的更好逼近所驱动。我们的系统基于Lew等人（2023）的框架，并集成到其语言模型概率编程语言中，使用户能够以简单、可编程的方式将SMC应用于广泛的受控生成问题。