基于离散自回归偏置的受控大语言模型解码

受控文本生成允许对大型语言模型（LLM）输出强制执行用户定义的约束，随着LLM在日常生活中越来越普及，这一领域变得越来越重要。常见的方法使用基于能量的解码，通过将多个约束组合成加权平均的能量函数来定义目标分布。然而，这些方法往往在流畅性与约束满足之间难以取得平衡，即使对能量函数的系数进行 extensive 调整也难以解决。本文指出， suboptimal 平衡源于在连续空间中进行采样，而非文本标记的自然离散空间。为此，我们提出了离散自回归偏置（Discrete Auto-regressive Biasing），一种利用梯度但完全在离散文本域内运行的受控解码算法。具体而言，我们通过定义生成序列与辅助偏置序列之间的联合分布，提出了一种新的受控文本生成表述。为高效采样该联合分布，我们提出了一种使用基于梯度的离散MCMC的Gibbs采样算法。我们的方法在保持相当或更好的流畅性的同时，显著提高了约束满足率，计算成本甚至更低。我们在情感控制、语言去污化和关键词引导生成等任务上展示了我们受控解码方法的优势。