Visual Mamba: 综述与新视角
计算机视觉与模式识别
2024-11-12 v3
摘要
Mamba 是一种近期出现的选择性结构化状态空间模型，在长序列建模方面表现出色，这在大模型时代至关重要. 长序列建模面临着捕获数据中长程依赖关系以及处理其广泛长度所导致的计算需求等挑战. Mamba 通过克服卷积神经网络的局部感知限制和Transformer 的二次计算复杂度来解决这些挑战. 鉴于其相对于这些主流基础架构的优势，Mamba 在被视为视觉基础架构具有巨大的潜力. 自 2024 年 1 月起，Mamba 已积极应用于多种计算机视觉任务，产生了众多贡献. 为帮助跟上快速的进展，本文综述了视觉 Mamba 方法，分析了超过 200 篇论文. 本文首先阐述了原始 Mamba 模型的 formulation. 随后，它深入探讨了代表性骨干网络和按不同模态分类的应用，包括图像、视频、点云和多模态数据. 特别地，我们识别出扫描技术对于将 Mamba 适应到视觉任务至关重要，并将这些扫描技术解耦，以澄清其功能并提高其在各种应用中的灵活性. 最后，我们讨论了挑战和未来方向，为这个快速发展的领域提供了新的视角. 本文综述的视觉 Mamba 模型列表可在 https://github.com/Ruixxxx/Awesome-Vision-Mamba-Models 查看.
引用
@article{arxiv.2404.18861,
title = {Visual Mamba: A Survey and New Outlooks},
author = {Rui Xu and Shu Yang and Yihui Wang and Yu Cai and Bo Du and Hao Chen},
journal= {arXiv preprint arXiv:2404.18861},
year = {2024}
}
备注
Under Review