解构 MaskGIT 采样器及其它方法：掩码扩散中的自适应顺序选择
机器学习
2026-04-23 v2 概率论
机器学习
摘要
掩码扩散模型在生成高质量样本方面显示出广泛的潜在应用前景，但加速其采样过程的研究仍相对不足。为探索掩码扩散的高效采样器，本文对 MaskGIT 采样器进行理论分析，揭示其隐式温度采样机制。通过该分析，我们引入了“矩采样器”（moment sampler），这是一种在掩码GIT等价且更具可处理性和可解释性的替代方案，采用“选择后采样”（choose-then-sample）方法，先选择要取消掩码的位置，再采样标记。此外，我们通过两个关键创新提升了选择后采样算法的效率：一种用于变压器的部分缓存技术，可在不按比例增加计算成本的情况下近似更长的采样轨迹；以及一种形式化探索-开发权衡的混合方法。在图像和文本领域的实验表明，我们的理论以及我们所提出的方法的高效性，推动了掩码扩散采样器的理论理解和实际实现。
引用
@article{arxiv.2510.04525,
title = {Demystifying MaskGIT Sampler and Beyond: Adaptive Order Selection in Masked Diffusion},
author = {Satoshi Hayakawa and Yuhta Takida and Masaaki Imaizumi and Hiromi Wakaki and Yuki Mitsufuji},
journal= {arXiv preprint arXiv:2510.04525},
year = {2026}
}
备注
23 pages, fixed cleveref-related issue