EndoCoT：扩散模型中内源性链式思维推理的扩展
计算机视觉与模式识别
2026-03-26 v3 计算与语言
摘要
最近，多模态大语言模型（MLLM）被广泛集成到扩散框架中，主要作为文本编码器来解决空间推理等复杂任务。然而，这种范式存在两个关键局限性：（i）MLLM 文本编码器的推理深度不足。单步编码未能激活链式思维（Chain-of-Thought）过程，这对于 MLLM 在复杂任务中提供准确指导至关重要。（ii）在解码过程中，指导信号保持不变。解码期间的恒定指导会阻止 DiT 渐进式地将复杂指令分解为可执行的去噪步骤，即便存在正确的 MLLM 编码。为此，我们提出了内源性链式思维（EndoCoT），一种新型框架，通过迭代思考引导模块对潜在思考状态进行迭代细化，激发 MLLM 的推理潜能，然后将这些状态与 DiT 的去噪过程相结合。随后，应用终端思考锚定模块，通过与真实答案对齐最终状态，确保推理轨迹始终以文本监督为依托。通过这两个组件，MLLM 文本编码器能够提供精心设计的推理指导，使 DiT 能够逐步执行，从而以分步骤方式解决复杂任务。在多样化基准（如迷宫、旅行商问题、VSP 和数独）上进行了广泛评估，平均准确率达到 92.1%，超越最强基线 8.3 个百分点。代码和数据集已公开于 https://lennoxdai.github.io/EndoCoT-Webpage/。
引用
@article{arxiv.2603.12252,
title = {EndoCoT: Scaling Endogenous Chain-of-Thought Reasoning in Diffusion Models},
author = {Xuanlang Dai and Yujie Zhou and Long Xing and Jiazi Bu and Xilin Wei and Yuhong Liu and Beichen Zhang and Kai Chen and Yuhang Zang},
journal= {arXiv preprint arXiv:2603.12252},
year = {2026}
}
备注
23 pages, 18 figures, The code and dataset are publicly available at https://lennoxdai.github.io/EndoCoT-Webpage/