U-Shape Mamba：用于更快扩散的状态空间模型
计算机视觉与模式识别
2025-09-23 v2
摘要
扩散模型已成为高质量图像生成的最流行方法，但其高计算成本仍然是一个显著挑战。为解决此问题，我们提出了U-Shape Mamba (USM)，这是一种新颖的扩散模型，利用基于Mamba的层构建于U-Net类分层结构中。通过在编码器中逐步减少序列长度并在解码器中恢复长度（通过Mamba块实现），USM显著降低了计算开销，同时保持了强大的生成能力。实验结果对比目前最高效的Mamba-based扩散模型Zigma，显示USM的GFlops仅为Zigma的三分之一，所需内存更少且更快，同时在图像质量上超越Zigma。在AFHQ、CelebAHQ和COCO数据集上，分别将Fid分数提高了15.3、0.84和2.7分。这一发现表明USM是一种高度有效且可扩展的扩散生成模型解决方案，使高质量图像合成更易于被研究社区接受，同时降低了计算成本。
引用
@article{arxiv.2504.13499,
title = {U-Shape Mamba: State Space Model for faster diffusion},
author = {Alex Ergasti and Filippo Botti and Tomaso Fontanini and Claudio Ferrari and Massimo Bertozzi and Andrea Prati},
journal= {arXiv preprint arXiv:2504.13499},
year = {2025}
}
备注
Accepted at CVPR 2025 eLVM workshop. The code is here: https://github.com/ErgastiAlex/U-Shape-Mamba