面向高效遮蔽生成的即插即用上下文特征复用
计算机视觉与模式识别
2025-05-27 v1
摘要
遮蔽生成模型（Masked Generative Models, MGMs）已成为图像合成的强大框架，结合了并行解码与强大的双向上下文建模。然而，生成高质量样本通常需要许多迭代解码步骤，导致推理成本高昂。通过在每个步骤中解码更多标记来加速生成是一种直接的加速方式，从而减少总步骤数。然而，当同时解码许多标记时，模型只能独立地估计单变量边际分布，无法捕捉它们之间的依赖关系。因此，减少步骤数会显著损害生成保真度。在本工作中，我们引入了ReCAP（Reused Context-Aware Prediction），一个即插即用的模块，通过复用先前解码上下文标记的特征嵌入来构建低成本步骤，从而加速MGMs中的推理。ReCAP交替进行标准的完整评估和轻量级步骤，这些步骤缓存并复用上下文特征，在保持细粒度、迭代生成优势的同时，大幅降低计算开销。我们在三个具有代表性的MGMs（MaskGIT、MAGE和MAR）上展示了其有效性，包括离散和连续标记空间，涵盖多种架构设计。在特定条件下，ReCAP在ImageNet256类别条件生成中，相较于基础模型实现最高2.4倍的推理速度，性能下降最小，在 various generation settings下持续提供更好的效率-保真度权衡。
引用
@article{arxiv.2505.19089,
title = {Plug-and-Play Context Feature Reuse for Efficient Masked Generation},
author = {Xuejie Liu and Anji Liu and Guy Van den Broeck and Yitao Liang},
journal= {arXiv preprint arXiv:2505.19089},
year = {2025}
}