Jump Your Steps：优化离散扩散模型的抽样时间表
机器学习
2024-10-11 v1 人工智能
计算与语言
计算机视觉与模式识别
摘要
扩散模型在连续域已取得显著成功，推动了离散扩散模型（DDM）用于离散变量的发展。尽管近期进展显著，DDM 仍面临抽样速度慢的挑战。虽然并行抽样方法如 -leaping 可加速此过程，但会引入“累积解码误差”（CDE），即真实分布与并行标记生成的近似值之间的差异，导致样本质量下降。本文提出了 Jump Your Steps（JYS），一种通过最小化 CDE 而无需额外计算成本来优化离散抽样时间表分配的新方法。更准确地，我们推导了 CDE 的实用上界，提出了高效的时间表搜索算法。广泛的实验在图像、音乐和文本生成上表明，JYS 显著提升了抽样质量，建立了一种通用框架，用于提高 DDM 在快速抽样中的性能。
引用
@article{arxiv.2410.07761,
title = {$\textit{Jump Your Steps}$: Optimizing Sampling Schedule of Discrete Diffusion Models},
author = {Yong-Hyun Park and Chieh-Hsin Lai and Satoshi Hayakawa and Yuhta Takida and Yuki Mitsufuji},
journal= {arXiv preprint arXiv:2410.07761},
year = {2024}
}