意图因子化生成：释放语言模型中的多样性

从固定提示的大语言模型中获取多个有意义且多样化的优质样本仍然是一个开放挑战。当前增加多样性的方法通常仅在标记级别操作，即对同一响应进行改写。这存在问题，因为它导致在推理问题上探索不足，以及产生乏味、重复的对话智能体。为解决这一问题，我们提出意图因子化生成（IFG），将采样过程分为两个阶段。首先，我们采样一个语义密集的意图，例如摘要或关键词。其次，我们在条件化于原始提示和第一阶段意图的情况下采样最终响应。这使我们能够在意图步骤中使用较高温度以促进概念多样性，在最终生成中使用较低温度以确保输出连贯且自洽。此外，我们发现，在生成每一步之前提示模型明确陈述其意图对推理任务是有益的。我们在多样化任务集上展示了本方法的有效性。我们展示了该方法在数学和代码任务上同时提升了 pass@k 和基于验证器反馈的强化学习。对于指令微调，我们将 IFG 与直接偏好优化相结合，在不牺牲奖励的情况下增加了对话多样性。最后，我们在通用语言建模任务上实现了更高的多样性，同时保持了生成质量，使用的是我们自己收集并开源的新数据集——读者评论和新闻文章。总之，我们提出了一种简单的方法，在保持性能的同时增加大语言模型的样本多样性。该方法可以通过修改提示和在生成过程中调整温度来实现，易于集成到许多算法中，从而在各类应用中获得收益。