面向约束离散扩散的原始-对偶引导解码
人工智能
2026-05-12 v1
摘要
离散扩散模型通过逐步解掩码 token 来生成结构化序列，但在生成过程中强制执行全局属性约束仍是一个开放挑战。我们提出了原始-对偶引导解码，一种推理时方法，将受约束生成表述为 KL 正则化优化问题，并通过自适应拉格朗日乘子在线求解。在每个去噪步骤中，该方法通过一个加性的、依赖约束的偏置来修改 token logits，乘子则根据约束违反程度通过镜像下降进行更新。该偏置作为约束的最优 KL 正则化投影出现，使得受约束分布在满足约束的同时，尽可能接近模型的无约束分布。该方法无需重训练，除标准采样外无需额外的模型评估，支持多个同时约束，并提供了约束违反的形式化界限。我们在主题文本生成、分子设计和音乐播放列表生成上评估了我们的方法，结果表明，通过领域特定评分函数实例化的单一算法在保持相关领域特定质量指标的同时，提升了约束满足度。
引用
@article{arxiv.2605.09749,
title = {Primal-Dual Guided Decoding for Constrained Discrete Diffusion},
author = {Federico Tomasi and Dmitrii Moor and Alice Wang and Mounia Lalmas},
journal= {arXiv preprint arXiv:2605.09749},
year = {2026}
}