协作式文本生成该用何种判别器？

语言模型通过基于已生成词元 successively 预测下一词元的概率分布来生成文本。一个日益受关注的领域试图在解码过程中利用外部信息，使生成文本具备期望属性，例如更自然、无毒、忠实或具有特定写作风格。一种解决方案是在每个生成步骤使用一个分类器，从而形成协作环境，其中分类器将语言模型分布的解码引导至当前任务的相关文本。在本文中，我们考察了用于此特定协作解码任务的三种（基于 transformer 的）判别器族：双向、从左至右以及生成式判别器。我们评估了这些不同类型判别器用于协作生成的优劣，探究它们在分类任务上的各自准确率及其对最终样本质量与计算性能的影响。我们还提供了用于实验的强大协作解码策略 Monte Carlo Tree Search 的批处理实现代码，该策略可与各判别器配合用于自然语言生成。