为通过$k$获取免费晋升？面向扩散语言模型的低成本多样化抽样
计算与语言
2026-03-06 v1 人工智能
摘要
文本生成中的多样化输出对于有效探索复杂推理任务（如代码生成和数学问题求解）至关重要。此类Pass@问题受益于覆盖解空间的独特候选方案。然而，传统抽样方法常在重复的失败模式中浪费计算资源。虽然扩散语言模型已涌现为继自动回归范式之后的�争性替代方案，但仍然容易受到这种冗余性影响，独立抽样经常坍缩到相似的模式中。为此，我们提出一种无需训练的低成本干预，以增强扩散语言模型的生成多样性。我们的做法按序修改批量中的中间样本，其中每个样本都从前一个样本的特征空间中被排斥，主动惩罚冗余。与需要重新训练或束搜索的先前方法不同，我们的策略引入的计算开销可忽略不计，同时确保每个样本为批量提供独特的视角。我们在LLaDA-8B-Instruct模型上对HumanEval和GSM8K基准进行评估。结果表明，我们的方法在各种温度设置下显著提升了多样性和Pass@性能。作为一种简单修改抽样过程的策略，本方法为当前及未来在受益于多样化解答搜索的任务中提供了即时、低成本的改进。我们已将代码公开于 https://github.com/sean-lamont/odd。
引用
@article{arxiv.2603.04893,
title = {Free Lunch for Pass@$k$? Low Cost Diverse Sampling for Diffusion Language Models},
author = {Sean Lamont and Christian Walder and Paul Montague and Amir Dezfouli and Michael Norrish},
journal= {arXiv preprint arXiv:2603.04893},
year = {2026}
}