LazyMAR：基于特征缓存加速掩码自回归模型
计算机视觉与模式识别
2025-03-18 v1
摘要
掩码自回归（MAR）模型作为图像生成的有前景方法，凭借并行解码能力预期能超越传统自回归模型在计算效率上的优势。然而，其对双向自注意力机制的依赖与传统KV缓存机制本质上存在冲突，造成计算瓶颈，削弱了其原本的效率优势。为此，本文通过两种冗余性质：Token冗余性——大量标记在相邻解码步骤中具有非常相似的表示，允许我们在前续步骤缓存它们并在后续步骤中重用——以及Condition冗余性——条件无条件输出在无条件引导中的差值在相邻步骤中表现出相似值——来研究MAR的缓存机制。基于这两种冗余性，我们提出LazyMAR，引入两种缓存机制分别处理这两种冗余性。LazyMAR无需训练即可与所有MAR模型无缝集成。实验结果表明，我们的方法在几乎不损失生成质量的前提下实现了2.83倍的加速。我们的代码将发布于https://github.com/feihongyan1/LazyMAR。
引用
@article{arxiv.2503.12450,
title = {LazyMAR: Accelerating Masked Autoregressive Models via Feature Caching},
author = {Feihong Yan and Qingyan Wei and Jiayi Tang and Jiajun Li and Yulin Wang and Xuming Hu and Huiqi Li and Linfeng Zhang},
journal= {arXiv preprint arXiv:2503.12450},
year = {2025}
}
备注
10 pages, 6 figures