时间退火扰动抽样：扩散语言模型的多样化生成
计算与语言
2026-03-18 v2 人工智能
摘要
扩散语言模型（Diffusion-LMs）在文本生成中引入了显式的时间维度，但如何利用这一结构来控制生成多样性，以探索多个有效的语义或推理路径仍鲜有探索。本文表明，扩散语言模型如同图像生成中的扩散模型，具有时间分工：早期去噪步骤主要决定全局语义结构，而后期步骤聚焦于局部词汇细化。基于此洞察，我们提出时间退火扰动抽样（TAPS），这是一种无需训练的推理策略，旨在扩散过程早期鼓励语义分支，同时逐步减少扰动以保持流畅度和指令遵循。TAPS 可兼容非自回归和半自回归扩散主干模型，在我们的论文中分别演示于 LLaDA 与 TraDo，并在创意写作和推理基准测试中持续提升输出多样性，同时不损害生成质量。
引用
@article{arxiv.2601.22629,
title = {Time-Annealed Perturbation Sampling: Diverse Generation for Diffusion Language Models},
author = {Jingxuan Wu and Zhenglin Wan and Xingrui Yu and Yuzhe Yang and Yiqiao Huang and Ivor Tsang and Yang You},
journal= {arXiv preprint arXiv:2601.22629},
year = {2026}
}