D5P4：面向并行离散扩散解码的多样性分区决定性点过程
人工智能
2026-03-20 v1 机器学习
摘要
离散扩散模型是文本生成的自回归方法的有前景的替代方案，但其解码方法仍属under-studied。自回归模型的标准解码方法，如束搜索，直接不适用于迭代去噪，现有的扩散解码技术对批内多样性控制有限。为填补这一差距，我们引入了一个针对离散扩散的广义束搜索框架，支持并行生成候选者并具备模块化束选择目标。作为一种以多样性为焦点的实例，我们提出了D5P4，将选择步骤建模为决定性点过程（Determinantal Point Process）上的最大似然推断。利用可扩展的贪婪求解器，D5P4保持与多GPU兼容，并可在几乎零计算开销下实现模型概率与目标多样性之间的显式权衡。在自由形式生成和问答任务上的实验表明，D5P4在强大的基准方法上实现了更好的多样性，同时保持了具竞争力的生成质量。
引用
@article{arxiv.2603.19146,
title = {D5P4: Partition Determinantal Point Process for Diversity in Parallel Discrete Diffusion Decoding},
author = {Jonathan Lys and Vincent Gripon and Bastien Pasdeloup and Axel Marmoret and Lukas Mauch and Fabien Cardinaux and Ghouthi Boukli Hacene},
journal= {arXiv preprint arXiv:2603.19146},
year = {2026}
}