探索扩散大语言模型的真实长链式思维能力
计算与语言
2025-10-13 v1
摘要
近期，扩散大语言模型（DLLMs）提供了高吞吐量和有效的顺序推理，成为自回归LLMs（ALLMs）的有力竞争者。然而，平行解码——即同时更新标记——与严格推理所需的因果顺序存在冲突。我们首先将这一冲突识别为核心的并行-顺序矛盾（PSC）。在简单和复杂推理任务的行为分析表明，DLLMs仅对直接可判定输出表现出真正的并行性。随着任务难度增加，它们会回归到类似自回归的行为，这一限制在自回归提示下被加剧——几乎会在重新掩码而不提升质量的情况下翻倍解码步骤。此外，PSC限制了DLLMs的自我反思、推理深度和探索宽度。为进一步刻画PSC，我们提出了三个扩展维度：并行、扩散和顺序。经验结果表明，尽管并行扩展带来持续的改进，但扩散和顺序扩展受到PSC的约束。基于这些发现，我们提出了几项实用缓解措施，包括并行导向的提示、扩散提前停止和并行扩展，以减少PSC引起的低效和不有效。
引用
@article{arxiv.2510.09544,
title = {Beyond Surface Reasoning: Unveiling the True Long Chain-of-Thought Capacity of Diffusion Large Language Models},
author = {Qiguang Chen and Hanjing Li and Libo Qin and Dengyun Peng and Jinhao Liu and Jiangyi Wang and Chengyue Wu and Xie Chen and Yantao Du and Wanxiang Che},
journal= {arXiv preprint arXiv:2510.09544},
year = {2025}
}
备注
Preprint