分区生成模型：无掩码的遮盖建模
机器学习
2026-02-18 v3
摘要
遮盖生成模型（MGMs）可以在任意顺序并行生成标记，与自回归模型（ARMs）逐个、从左到右解码不同。然而，MGMs 在每个采样步骤中都处理整个序列，包括不携带信息的掩码标记。相比之下，ARMs 只处理已生成的标记。我们提出了“分区生成模型”（PGMs），用分区取代遮盖。标记被划分为两个互相不可见的组，模型学习条件于另一组来预测每个组，从而完全消除掩码标记。由于各组之间不存在交互，PGMs 在采样时仅处理干净的标记（如 ARMs），同时保留 MGMs 的并行、任意顺序生成能力。在 OpenWebText 上，PGMs 的吞吐量比 MDLM 高出 ，且生成的样本具有更低的生成 Perplexity。在 ImageNet 上，PGMs 的 FID 可与 MaskGIT 相当，同时实现 的吞吐量提升。当步数增加两倍时，FID 可提升至 4.56，仍比 MGMs 快 。最后，PGMs 与现有的 MGM 采样器和蒸馏方法兼容。
引用
@article{arxiv.2505.18883,
title = {Partition Generative Modeling: Masked Modeling Without Masks},
author = {Justin Deschenaux and Lan Tran and Caglar Gulcehre},
journal= {arXiv preprint arXiv:2505.18883},
year = {2026}
}