基于 Mamba 的可扩展自回归图像生成
计算机视觉与模式识别
2025-11-04 v5
摘要
我们提出了 AiM，一个基于 Mamba 架构的自回归（AR）图像生成模型。AiM 采用 Mamba，这是一种以线性时间复杂度处理长序列建模的新型状态空间模型，以取代 AR 图像生成模型中常用的 Transformer，旨在实现卓越的生成质量和提高的推理速度。与现有方法通过多向扫描适应处理二维信号不同，AiM 直接利用下一个标记预测范式进行自回归图像生成。这一方法规避了大量修改以使 Mamba 能够学习 2D 空间表示的需求。通过实施针对视觉生成任务的简单且有针对性的修改，我们保留了 Mamba 的核心结构，充分发挥其高效长序列建模能力和可扩展性。我们提供了多个规模的 AiM 模型，参数数量范围从 1.48 亿到 13 亿。在 ImageNet1K 256×256 基准测试中，最佳的 AiM 模型实现了 FID 为 2.21，超越了参数数量相当的所有现有 AR 模型，并在推理速度上显著优于扩散模型，快 2 至 10 倍。代码已公开 https://github.com/hp-l33/AiM
引用
@article{arxiv.2408.12245,
title = {Scalable Autoregressive Image Generation with Mamba},
author = {Haopeng Li and Jinyue Yang and Kexin Wang and Xuerui Qiu and Yuhong Chou and Xin Li and Guoqi Li},
journal= {arXiv preprint arXiv:2408.12245},
year = {2025}
}
备注
9 pages, 8 figures