提高 LLM 输出的创造性与连贯性：基于 Min-p 采样方法
计算与语言
2025-11-21 v8
摘要
大型语言模型（LLM）通过在每个解码步骤从词汇表上的概率分布中对下一个 token 进行采样来生成文本。像 top-p（核采样）这样的流行采样方法在较高温度下常难以平衡质量和多样性，导致生成文本不连贯或重复。我们提出了 min-p 采样，这是一种基于模型置信度通过使用 top token 的概率作为缩放因子来调整采样阈值的动态截断方法。我们在包括 GPQA、GSM8K 和 AlpacaEval Creative Writing 在内的基准测试上进行实验，显示 min-p 采样在不同的模型家族（Mistral 和 Llama 3）和模型规模（从 1B 到 123B 参数）中，能够在提高生成文本质量和多样性方面取得显著效果，尤其是在较高温度下。人类评估进一步表明，min-p 采样在文本质量和创造性方面受到明显偏好，Hugging Face Transformers、VLLM 等多个热门开源 LLM 框架也已采纳 min-p 采样，凸显了其在提升文本生成质量方面的重要影响。
引用
@article{arxiv.2407.01082,
title = {Turning Up the Heat: Min-p Sampling for Creative and Coherent LLM Outputs},
author = {Minh Nhat Nguyen and Andrew Baker and Clement Neo and Allen Roush and Andreas Kirsch and Ravid Shwartz-Ziv},
journal= {arXiv preprint arXiv:2407.01082},
year = {2025}
}
备注
Oral presentation at ICLR 2025. Camera-ready version available at https://iclr.cc/virtual/2025/poster/30358