通过重要性加权与最优提议设计实现离散扩散模型的推理时缩放
机器学习
2026-03-17 v4
摘要
离散扩散模型在各个领域已变得非常有效。然而，现实应用通常要求生成过程遵循特定约束。为此，我们提出了一个 Sequential Monte Carlo (SMC) 框架，通过有原则的重要性加权和最优提议构建，实现对离散扩散模型可缩放的推理时控制。具体而言，我们的方法为一系列中间目标推导出易于处理的重要性权重，并刻画了最优提议，为此我们开发了两种实用近似：一阶基于梯度的近似和训练以最小化重要性权重对数方差的摊销提议。在合成任务、语言建模、生物设计和文本到图像生成方面的实证结果表明，我们的框架增强了可控性和样本质量，凸显了 SMC 作为在推理时缩放离散扩散模型的多功能方案的有效性。
引用
@article{arxiv.2505.22524,
title = {Inference-Time Scaling of Discrete Diffusion Models via Importance Weighting and Optimal Proposal Design},
author = {Zijing Ou and Chinmay Pani and Yingzhen Li},
journal= {arXiv preprint arXiv:2505.22524},
year = {2026}
}