Stop-Think-AutoRegress：基于潜在扩散规划的语言建模
计算与语言
2026-02-25 v1 机器学习
摘要
Stop-Think-AutoRegress语言扩散模型（STAR-LDM）将潜在扩散规划与自回归生成相结合。不同于传统自回归语言模型仅限于逐token决策，STAR-LDM包含一个"思考"阶段，在提交离散token之前暂停生成，通过扩散来细化语义计划。这使得在提交具体token之前能够进行连续空间中的全局规划。评估表明，STAR-LDM在语言理解基准测试中显著优于同等规模的模型，并在LLM-as-judge比较中实现超过70%的胜率，优于在叙事连贯性和常识推理方面的其他模型。该架构还允许通过轻量级分类器进行简单的控制，实现无需模型重新训练即可对属性进行细粒度引导，同时保持比专门方法更好的流畅性-控制权衡。
引用
@article{arxiv.2602.20528,
title = {Stop-Think-AutoRegress: Language Modeling with Latent Diffusion Planning},
author = {Justin Lovelace and Christian Belardi and Sofian Zalouk and Adhitya Polavaram and Srivatsa Kundurthy and Kilian Q. Weinberger},
journal= {arXiv preprint arXiv:2602.20528},
year = {2026}
}
备注
COLM 2025