Conditional [MASK] Discrete Diffusion Language Model
计算与语言
2025-02-25 v5 人工智能
摘要
尽管自回归模型在自然语言处理中表现出色，但它们在生成多样化文本方面常常存在困难，并且可控性有限。非自回归方法可以作为替代方案，但往往产生退化输出，并在条件生成方面存在不足。为应对这些挑战，我们提出了 Diffusion-EAGS，这是一个新颖的框架，通过条件马尔可夫随机场的理论视角将条件掩码语言模型集成到扩散语言模型中。为此，我们提出了熵自适应吉布斯采样和基于熵的噪声调度，以平衡每个模型的优缺点。实验结果表明，Diffusion-EAGS 超越了基线方法，并实现了最佳的质量-多样性权衡，证明了其在非自回归文本生成中的有效性。
引用
@article{arxiv.2411.06438,
title = {Conditional [MASK] Discrete Diffusion Language Model},
author = {Hyukhun Koh and Minha Jhang and Dohyung Kim and Sangmook Lee and Kyomin Jung},
journal= {arXiv preprint arXiv:2411.06438},
year = {2025}
}