扩散 LLM 能按 EoS 逐项思考
计算与语言
2026-03-06 v1
摘要
扩散 LLM 作为自回归 LLM 的另一种选择，尤其在具有相互依赖子目标的复杂推理任务中表现卓越。值得注意的是，这种表现尤其体现在生成长度（即模型需输出的 token 数量）设置为远高于完成该任务所需的正确答案长度时，模型会用 end-of-sequence (EoS) token 填充其答案。我们假设扩散模型是按 EoS 逐项思考的，即它们使用 EoS token 的表示作为隐藏的暂存板，从而解决更困难的推理问题。我们实验性地测试了扩散模型 LLaDA1.5、LLaDA2.0-mini 和 Dream-v0 在 Addition、Entity Tracking 和 Sudoku 任务上的表现。在受控提示实验中，我们确认添加 EoS token 可提升 LLM 的推理能力。进一步验证 EoS token 是否作为隐藏计算空间时，我们以对照生成的隐藏状态修补 EoS token 的隐藏状态，这经常使生成的输出改变为对照结果。对因果干预的成功性表明，尽管人们可能期待 EoS token 缺乏意义，但它们实际包含解决问题所需的信息。行为实验和因果干预的结果表明，扩散 LLM 确实能按 EoS 逐项思考。
引用
@article{arxiv.2603.05197,
title = {Diffusion LLMs can think EoS-by-EoS},
author = {Sarah Breckner and Sebastian Schuster},
journal= {arXiv preprint arXiv:2603.05197},
year = {2026}
}