利用预训练语言模型构建 Glauber 动力学文本扩散的能量函数
机器学习
2026-05-07 v1
摘要
我们提出了一种基于 Glauber 动力学的离散扩散语言模型。我们的主要思想是：与其尝试使用 Glauber 动力学中均匀转换核作为前向过程来训练离散状态空间扩散模型，不如基于预训练的因果/掩码语言模型设置一个 "能量函数"。当将其视为平稳分布时，该能量函数允许我们显著提高生成文本的质量。将 UL2 作为预训练模型整合到我们的扩散管道中，我们在与先前基于扩散的语言模型相当的模型规模下超越了先前的扩散-based LM，并在相当的模型规模下与自回归模型相竞争。此外，我们的模型在 zero-shot 常识推理任务以及如数独和斑兹拼图等规划和搜索任务中表现出竞争力，甚至超过了先前的扩散模型和 GPT-2 风格的自回归模型。
关键词
引用
@article{arxiv.2605.04291,
title = {Leveraging Pretrained Language Models as Energy Functions for Glauber Dynamics Text Diffusion},
author = {Tarun Kathuria and Sachin Kumar},
journal= {arXiv preprint arXiv:2605.04291},
year = {2026}
}
备注
To appear in ACL 2026