Mamba-ST：用于高效风格迁移的状态空间模型
计算机视觉与模式识别
2025-04-15 v1
摘要
风格迁移的目标是，给定内容图像和风格源，生成一幅保留内容但具有风格源艺术表示的新图像。大多数 state-of-the-art 架构使用 Transformer 或基于扩散的模型来执行此任务，尽管它们需要沉重的计算负担。特别是，Transformer 使用的自注意力和交叉注意力层具有较大的内存占用，而扩散模型需要较高的推理时间。为了克服上述问题，本文探索了 Mamba（一种新兴的状态空间模型（SSM））的一种新颖设计，称为 Mamba-ST，以执行风格迁移。为此，我们将 Mamba 线性方程改造为模拟交叉注意力层的行为，该层能够将两个独立的嵌入组合成单个输出，同时大幅降低内存使用和时间复杂度。我们修改了 Mamba 的内部方程，使其能够接受来自两个独立数据流的输入并进行组合。据我们所知，这是首次尝试将 SSM 的方程适配于风格迁移等视觉任务，而无需交叉注意力或自定义归一化层等任何其他模块。大量实验证明了我们的方法在执行风格迁移方面相较于 Transformer 和扩散模型的优越性和高效性。结果表明，在 ArtFID 和 FID 指标方面均取得了更好的质量。代码可在 https://github.com/FilippoBotti/MambaST 获取。
引用
@article{arxiv.2409.10385,
title = {Mamba-ST: State Space Model for Efficient Style Transfer},
author = {Filippo Botti and Alex Ergasti and Leonardo Rossi and Tomaso Fontanini and Claudio Ferrari and Massimo Bertozzi and Andrea Prati},
journal= {arXiv preprint arXiv:2409.10385},
year = {2025}
}