宽进窄出：可撤回解码技术用于高效且有效的扩散大语言模型
计算与语言
2025-09-29 v2
摘要
扩散大语言模型（DLLMs）作为自回归模型的有力替代方案，旨在实现快速并行生成。然而，现有DLLMs面临严重的质量与速度权衡问题，即更快的并行解码会导致显著的性能下降。我们认为，这源于标准解码方法的不可逆性，导致模型容易偏向错误的解码方向，并在早期积累错误上下文。为解决此问题，我们引入了宽进窄出（Wide-In, Narrow-Out, WINO），一种无需训练的解码算法，使DLLMs实现可撤回解码。WINO采用并行草拟-验证机制， aggressively 草拟多个标记，同时利用模型的双向上下文进行验证和重新遮蔽，以便进行细化。实验在开源DLLMs（如LLaDA和MMaDA）上进行，WINO显著改善了质量与速度的权衡。例如，在GSM8K数学基准测试中，它将推理速度加快6倍，同时提高了2.58%的准确率；在Flickr30K描述生成中，实现了10倍的加速并提升了性能。进行了更全面的实验，以证明WINO的优势并深入理解其工作原理。
引用
@article{arxiv.2507.18578,
title = {Wide-In, Narrow-Out: Revokable Decoding for Efficient and Effective DLLMs},
author = {Feng Hong and Geng Yu and Yushi Ye and Haicheng Huang and Huangjie Zheng and Ya Zhang and Yanfeng Wang and Jiangchao Yao},
journal= {arXiv preprint arXiv:2507.18578},
year = {2025}
}