基于蒙特卡洛树搜索的扩散语言模型推理
计算与语言
2025-12-16 v1 人工智能
摘要
扩散语言模型(DLMs)最近作为自回归生成的引人注目的替代方案出现，提供并行生成和改进的全局一致性。在推理过程中，DLMs 通过并行迭代去噪掩码序列来生成文本；然而，确定哪些位置取消掩码以及哪些令牌提交构成了一个大型组合搜索问题。现有推理方法使用启发式方法近似此搜索，常产生次优解码路径；其他方法则依赖额外训练来引导令牌选择。为引入 DLMs 推理的原则性搜索机制，我们提出 MEDAL——一个将蒙特卡洛树搜索初始化集成到扩散语言模型推理中的推理时缩放框架。我们在初始化阶段使用蒙特卡洛树搜索来探索有前景的取消掩码轨迹，为后续细化提供稳健的起点。此设计实现了高效的推理时缩放，使生成质量随搜索预算增加而提升，无需额外训练。在多个基准测试上，MEDAL 相比现有推理策略实现了高达 22.0% 的提升，为 DLMs 中的搜索推理建立了新范式。
引用
@article{arxiv.2512.12167,
title = {Extending the Context of Pretrained LLMs by Dropping Their Positional Embeddings},
author = {Yoav Gelberg and Koshi Eguchi and Takuya Akiba and Edoardo Cetin},
journal= {arXiv preprint arXiv:2512.12167},
year = {2025}
}