Top-nσ：并非所有 Logits 都是你需要的
机器学习
2024-11-13 v1
摘要
大语言模型（LLM）通常采用贪婪解码或低温采样进行推理任务，这反映了人们认为多样性与准确性之间存在权衡。我们通过引入 top-nσ 这一新型采样方法来挑战这一惯例，该方法通过利用统计阈值直接作用于 softmax 前的 logits。我们的关键洞察是：logits 自然地分离为高斯分布的噪声区域和独特的信息区域，从而在无需复杂概率操作的情况下实现高效的 token 过滤。与现有方法（如 top-p、min-p）在高温下会无意中包含更多噪声 token 不同，top-nσ 无论温度缩放如何都能保持稳定的采样空间。我们还提供了 top-nσ 的理论分析以更好地理解其行为。在四个以推理为中心的数据集上的大量实验结果表明，我们的方法不仅优于现有的采样方法，而且超越了贪婪解码，同时在高温下仍能保持一致的性能。
引用
@article{arxiv.2411.07641,
title = {Top-$n\sigma$: Not All Logits Are You Need},
author = {Chenxia Tang and Jianchun Liu and Hongli Xu and Liusheng Huang},
journal= {arXiv preprint arXiv:2411.07641},
year = {2024}
}