谨慎的下一个标记预测
计算与语言
2025-07-24 v2 人工智能
机器学习
摘要
下一个标记预测范式在大语言模型时代已成为自回归模型的主流做法。当前流行大模型的默认采样选择是温度缩放结合核采样，以平衡多样性和连贯性。然而，当模型对测试问题不够确定时，这种方法会在各种 NLP 任务中表现不佳。为此，我们提出了一种全新的训练-free 解码策略，称为谨慎的下一个标记预测（Cautious Next Token Prediction, CNTP）。在解码过程中，如果模型在某一步具有相当高的预测熵，我们独立地从该步骤开始进行多次采样试验，并在遇到任何标点符号时停止。然后我们选择基于模型能力评估后感叹词得分最低的试验路径，即视为最可能且最可靠的路径。试验次数与预测置信度呈负相关，即模型越不确定，应采样的试验次数越多。这符合人类行为：当感到不确定或不够自信时，人们倾向于思考更多样化的方案，通过探索多种思考路径来谨慎地选择自己最有信心的路径。在大语言模型和大视觉语言模型上进行的大量实验表明，我们提出的CNTP方法在多个基准解码策略上 consistently 以显著优势表现。此外，CNTP与自洽性（self consistency）的集成进一步超越了基础自洽性。我们相信，所提出的CNTP有望成为LLM解码的一个默认选择。代码已公开于 https://github.com/wyzjack/CNTP。
引用
@article{arxiv.2507.03038,
title = {Cautious Next Token Prediction},
author = {Yizhou Wang and Lingzhi Zhang and Yue Bai and Mang Tik Chiu and Zhengmian Hu and Mingyuan Zhang and Qihua Dong and Yu Yin and Sohrab Amirghodsi and Yun Fu},
journal= {arXiv preprint arXiv:2507.03038},
year = {2025}
}
备注
ACL 2025