超越离散标记抽样的文本生成
计算与语言
2025-10-24 v3 人工智能
摘要
在标准自回归生成中，LLM预测下一个标记分布，抽取一个离散标记，然后丢弃该分布，仅将抽取的标记作为新的输入。为了保留这种分布所携带的丰富信息，我们提出了混合输入（Mixture of Inputs, MoI），这是一种无需训练的自回归生成方法。在遵循标准范式生成标记后，我们构建一个新的输入，将生成的离散标记与先前被丢弃的标记分布进行混合。具体而言，我们采用贝叶斯估计方法，将标记分布作为先验，将抽取的标记作为观察值，将常规的 one-hot 向量替换为连续后验期望作为新的模型输入。MoI 使模型能够在整个生成过程中保持更丰富的内部表示，从而在文本质量和推理能力方面获得改进。在数学推理、代码生成和博士级别问答任务上，MoI 在包括 QwQ-32B、Nemotron-Super-49B、Gemma-3-27B 和 DAPO-Qwen-32B 在内的多个模型上均实现了一致的性能提升，无需额外训练且计算开销可忽略。
引用
@article{arxiv.2505.14827,
title = {Text Generation Beyond Discrete Token Sampling},
author = {Yufan Zhuang and Liyuan Liu and Chandan Singh and Jingbo Shang and Jianfeng Gao},
journal= {arXiv preprint arXiv:2505.14827},
year = {2025}
}